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A. KIRILLOV 


ÉLÉMENTS DE LA THÉORIE 
DES REPRÉSENTATIONS 


ÉDITIONS MIR + MOSCOU 


PRÉFACE 


Pendant plusieurs années, l’auteur de ce livre a professé à l’Uni- 
versité de Moscou des cours spéciaux et dirigé un séminaire con- 
sacrés à la théorie des représentations des groupes. 

La majorité des personnes qui assistaient à ces cours et parti- 
cipaient aux séminaires étaient des étudiants des premières années 
de l’Université (ainsi que quelques écoliers et boursiers à thèses 
particulièrement doués). 

La composition du séminaire se renouvelait constamment. Ses 
nouveaux participants, pas encore accablés par un poids excessif 
de connaissances, mais prêts à apprendre des choses nouvelles et 
résoudre de nombreux problèmes, s’y intégraient progressivement. 

Pour chaque nouveau groupe d'étudiants, il était alors néces- 
saire de procéder à une sorte de «liquidation d’analphabétisme », 
concernant aussi bien les domaines des mathématiques indispen- 
sables pour travailler en théorie des représentations, que les fonde- 
ments mêmes de cette théorie. 

Assez rapidement, l’auteur a eu l’idée de se remplacer par un 
livre, qui ne serait pas, d’une part, trop volumineux (pour ne pas 
faire peur aux lecteurs) et, d’autre part, contiendrait tous les 
renseignements nécessaires. 

Pour diverses raisons, la réalisation de cette idée demanda 
beaucoup plus de temps qu'il ne semblait nécessaire au début. 
Néanmoins, grâce au soutien moral de mes amis et de mon maître, 
I. M. Gelfand, le livre fut en fin de compte terminé. L'auteur s'excuse 
auprès des lecteurs du fait que le livre est plus gros qu'il ne devrait 
être et contient seulement une partie de ce qu’il aurait dû contenir. 

La première partie du livre ($$ 1-6) n’est pas liée directement 
à la théorie des représentations. Cette partie expose les connaissances 
nécessaires qui se rapportent à d’autres domaines des mathémati- 
ques — surtout celles qui ne font pas partie des programmes obli- 
gatoires des premières années de l’Université en U.R.S.S. Le lecteur 
qui croit posséder ces connaissances peut aborder directement la 
deuxième partie ($$ 7-15). Celle-ci expose les notions et les métho- 
des fondamentales de la théorie des représentations. Dans la troisième 
partie ($$ 16-19), les constructions et les théorèmes généraux de la 
deuxième partie sont illustrés par des exemples concrets. 


PRÉFACE 


La note historique à la fin du livre reflète le point de vue de 
l’auteur sur le développement de la théorie des représentations 
et ne prétend pas jouer le rôle d’un manuel d'histoire des mathé- 
matiques. La conclusion de cette note décrit l’état actuel de la 
théorie des représentations et donne les références bibliographiques 
correspondantes. 

Une particularité de ce livre, qui a permis de limiter considéra- 
blement son volume, est l’inclusion d’un grand nombre de problèmes. 
Quoique tous ces problèmes et les indications correspondantes 
sont imprimés en petits caractères, il ne faut pas les omettre, car 
on s’en sert d’une manière essentielle dans le texte. En particulier, 
la majorité des démonstrations sont données en forme de cycles 
de problèmes liés entre eux. Presque tous les problèmes sont munis 
d'indications qui, en général, permettent de retrouver la démonstra- 
tion sans difficulté. Il est néanmoins utile d'essayer de résoudre 
le problème directement et de s'adresser à l'indication seulement 
en cas d'échec. 

Notons quelques particularités relatives au choix des matières 
traitées. Le livre touche très peu à la théorie des représentations 
de dimension finie des algèbres de Lie et des groupes semi-simples. 
En effet, il existe en russe un nombre suffisant de bons exposés 
de cette branche de la théorie des représentations (voir [47], [48], 
{54], [36]) et l'auteur ne voulait pas les répéter. 

Le rôle de la théorie des représentations des groupes dans la 
théorie des fonctions spéciales n’est aucunement reflété dans le 
texte. Une bonne introduction à ce domaine peut être obtenue en 
lisant l'ouvrage de N.Y. Vilenkine [55]. 

L'auteur ne s’est pas proposé de donner une description des 
nombreuses applications de la théorie des représentations à la physi- 
que théorique. A l'heure actuelle, il existe un grand nombre de 
travaux consacrés à ces applications (voir [3], [39], [29]. 

Une grande partie du livre est consacrée à la méthode des orbites 
que l’on ne rencontre pas encore dans les manuels, mais qui, par 
sa simplicité et par son évidence, se rapporte sans aucun doute aux 
fondements de la théorie des représentations. Le caractère plutôt 
inachevé du $15 (consacré à la méthode des orbites) s'explique 
par l’état actuel des choses dans ce domaine. Beaucoup de théorèmes 
importants ne sont démontrés que dans des cas particuliers ou 
existent seulement sous forme d’hypothèses. 

De nombreux mathématiciens en Union Soviétique et à l'étranger 
travaillent aujourd’hui dans cette direction. Sans aucun doute, 
nos connaissances sur les relations entre les orbites et les repré- 
sentations seront beaucoup plus complètes dans quelques années. 
L'auteur espère que certains lecteurs de ce livre apporteront leur 
contribution au développement de la méthode des orbites. 

A. Kirillov 


PREMIÈRE PARTIE 


NOTIONS PRÉLIMINAIRES 


$ 1. ENSEMBLES, CATÉGORIES, TOPOLOGIE 


1.1. Ensembles. 


Pour lire ce livre, il suffit d’une certaine familiarité avec la partie de la 
théorie des ensembles que l’on enseigne dans le cours universitaire en U.R.S.S. 
(Voir, par exemple, les premiers chapitres des manuels de A. N. Kolmogorov 
ct S. V. Fomine [40] ou de G. E. Chilov [11]. Des renseignements plus appro- 
fondis (y compris une définition exacte du concept d’ensemble) peuvent 
être trouvés dans Iles livres de A. Fraankel et I. Bar-Hillel [17] et de 
P. Cohen [12]. 


Pour faciliter la lecture, fixons ici quelques notations et rappelons 
certaines définitions. 

@ — ensemble vide; 

zx € X — l'élément x appartient à l’ensemble X ; 

x € X — l'élément x n'appartient pas à l’ensemble X; 

X & Y — l’ensemble X est inclus dans l’ensemble Y (et, au 
cas échéant, coïncide avec lui); 

U ZX, — la réunion du système d’ensembles X,, indexés par 


€ À 
les éléments de l’ensemble À; si l’ensemble À est un ensemble 
fini, on emploie également une notation telle que X {J Y [J ... UZ; 


N Xa— l'intersection du système d’ensembles X,,; 

at A 

XX Y —le complément de l'ensemble Y relativement à l’en- 
semble X; 


fl X,.—le produit des ensembles X,, c’est-à-dire la famille 
À 


@E 
des collections {Zo}aca, Où Zoe € Xa; 
FX — Y 


ou — l'application f de l’ensemble X dans l’ensemble Y : 


X = y 
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fix > 

ou — l'application f transforme l'élément x dans l’élé- 
f ment y; 

LT > 


XY — la famille de toutes les applications de l’ensemble Y 
dans l’ensemble X ; 

card À — la cardinalité de l’ensemble X ; pour un ensemble X 
fini, on emploie également la notation | X |; 

{x; A} — l’ensemble de tous les x pour lesquels la condition À 
est satisfaite. 

On dit que l’ensemble X est muni d’une relation binaire, si 
l’on a choisi un sous-ensemble À dans X X X. Au lieu d'écrire 
(x, y) E R on écrit également xRy et l’on dit que x et y se trouvent 
dans la relation R, ou bien que x et y sont liés par la relation R. La 
relation réciproque R”! se définit comme la famille de toutes les 
paires (x, y) pour lesquelles (y, x) € R. On appelle produit R, +R, la 
famille de toutes les paires (x, y), pour lesquelles il existe un élé- 
ment z, tel que (x, 2) € R,, (z, y) € R. 

La relation R est dite réflexive, si R contient la diagonale À — 
— {(x, x); x E X}, symétrique, si R = R°”\, transitive, si R-R ER. 
Une relation possédant toutes ces trois propriétés s'appelle relation 
d'équivalence. Dans ce cas, au lieu d'écrire (x, y) € R on écrit «xet y 
sont R-équivalents » (ou tout simplement équivalents, s’il est clair 
de quelle relation il s’agit). 

La famille des éléments qui sont équivalents à un élément donné 
x E X s'appelle classe d'équivalence contenant x. L’ensemble X,», 
des classes d'équivalence s’appelle partition de l’ensemble X (ou 
ensemble-quotient de X) par la relation R. En faisant correspondre 
à chaque x € X la classe qui le contient, on obtient l'application 
canonique p: X — Xp). 

Il est clair que l’application f: X — YŸ peut être incluse dans 
un diagramme commutatif !) 


si et seulement si f est constante sur chaque classe d'équivalence. 
Dans ce cas l’application g est entièrement déterminée par jf et 


s'appelle application quotient. 
On appelle relation d'ordre sur un ensemble X toute rela- 
tion binaire transitive R, antisymétrique dans le sens suivant : 


1) Voir la note au bas de la p. 11. 
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R N R1& A. Pour une relation d'ordre R, au lieu d'écrire (x, y) € 
€ R, on écrit généralement x > y. 

Un ensemble muni d’une relation d'ordre s'appelle ordonné (on 
dit également partiellement ordonné). Un ensemble ordonné s’appelle 
totalement ordonné, si R |] R1= X X X (c’est-à-dire lorsque deux 
éléments quelconques sont comparables). Les propositions suivantes 
sont équivalentes : 

{(axiome de choix de Zermelo). Le produit d'une 
famille quelconque d’ensembles non vides est non vide. 

2 (lemme de Zorn). Si dans un ensemble ordonné X, 
tout sous-ensemble linéairement ordonné Y est majoré (c’est-à-dire 
qu'il existe un élément x € X tel que x > y pour tout y € Ÿ), alors 
l’ensemble X contient au moins un élément maximal (c'est-à-dire 
un élément x, tel que x > x, implique x = x,; le fait que x, est 
maximal ne veut donc pas dire nécessairement que x, > x pour 
tout x E X). 

Le lemme de Zorn est une généralisation du principe bien connu 
de raisonnement par récurrence et remplace ce principe dans tous. 
les cas où nous avons affaire à des ensembles non dénombrales. 

On appelle ensemble filtrant croissant un ensemble À muni d’une. 
relation d'ordre RÀ qui satisfait à la condition supplémentaire sui- 
vante : 
quels que soient à, BE À, il existe un y € À tel que à < y, B < Y. 
En général, la relation à < $ se lit « B suit « ». 

Si (4, R) est un ensemble filtrant croissant, X un ensemble 
quelconque, on appelle filet ou direction sur X toute application 
de À dans X. Il est clair que cette notion généralise la notion de 
suite sur X (à laquelle elle se réduit lorsque À est l’ensemble des 
entiers naturels, avec l’ordre usuel). 

En mathématique, on considère généralement des ensembles. 
munis d’une certaine structure (par exemple, des ensembles ordonnés, 
des groupes, des espaces topologiques, etc.). Cette expression a le 
sens précis suivant. 

Appelons schéma de construction d’échelons sur X la famille des 
ensembles que l’on peut obtenir à partir de X et à partir des ensem- 
bles auxiliares S, T, ... à l’aide des opérations élémentaires 
indiquées ci-dessus (voir p. 7). Se donner une structure sur X veut 
dire fixer un certain élément du schéma de construction d’échelons. 
sur X. (Pour les exemples de structure cités plus haut les schémas. 
de construction d’échelons sont respectivement de la forme (2)*X4, 
XXX4, (2)(2)4, où (2) est un ensemble auxiliaire de deux éléments.) 


1.2. Catégories et foncteurs. 


La langue de la théorie des catégories dont on se sert dans ce livre est si 
simple et naturelle qu’elle ne posera pas de difficultés, même au lecteur qui n’en 
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a jamais abordé l'étude. Nous indiquerons ici seulement quelques définitions 
fondamentales. Des notions plus approfondies peuvent être obtenues en lisant, 
par exemple, le premier chapitre du livre de A. Grothendieck [26] ou l’appendice 
de D. A. Buchsbaum au livre [9]. Voir également le supplément « La langue 
des catégories » au cours de Ÿ. I. Manine de géométrie algébrique (éditions de 
ane de Moscou, 1970), supplément dont nous citcrons la première 
phrase : 

« La langue des catégories exprime l'attitude « sociologique » vis-à-vis de 
l’objet mathématique : un groupe ou un espace n’est plus considéré comme un 
ensemble muni de sa structure interne, mais comme un membre d’une société 
d'objets du même type. » 


On dit qu’une catégorie K est donnée si 

1) une classe Ob X d'objets de la catégorie X est donnée; 

2) pour chaque paire À, B d'objets de X, on a un ensemble 
Mor (4, B) de morphismes de l'objet À vers l’objet B; 

3) pour chaque triplet À, B, C d'objets de ÆX, on a une Loi 
de composition, c'est-à-dire une application 


Mor (4, B) X Mor(B, C) + Mor(4, C). 


La composition des morphismes f € Mor (4, Bet g E Mor (B, C) 
se note gof et possède les propriétés suivantes: 

a) fo(goh)—(fog)oh quels que soient f E Mor (C, D), gE€ 
€ Mor (B, C), h E Mor (4, B); 

b) pour chaque À € Ob K il existe un élément 14 € Mor (4, À) 
tel que 14 0f — f, go14 — g quels que soient f € Mor (B, À), 
g € Mor (4, B). 

Comme exemple, citons la catégorie M, pour laquelle Ob M 
est la classe de tous les ensembles et Mor (4, B) — BA. 

Un grand nombre de catégories considérées par la suite sont 
des sous-catégories de M, c’est-à-dire que les objets de ces catégories 
sont des ensembles, les morphismes — des applications d’ensembles,; 
les compositions des morphismes — les compositions usuelles d’appli- 
cations ). 

Si le morphisme f € Mor (A, B) admet un morphisme réciproque 
f"! (c'est-à-dire tel que fo ft — 13, flo f — 1,), alors on l’ap- 
pelle isomorphisme, et les objets À et B sont dits isomorphes. 

Pour chaque catégorie K, on peut définir une catégorie duale K°. 
Par définition Ob X° — Ob K, Mor (4, B)° — Mor (B, À). La com- 
position de f et g dans Æ° se définit comme la composition de g 
et f dans K. 

Un objet X s'appelle objet universel initial (respectivement objet 
universel terminal) de la catégorie Æ si, pour chaque Y E Ob X, 
l’ensemble Mor (X, Y) (respectivement l’ensemble Mor (Y, X)) con- 


1) Le lecteur voudra peut-être connaître des exemples de catégories qui 
n’ont pas cette propriété. Telles sont, par exemple, les catégories de groupes 
formels ou les catégories de diagrammes, dont la catégorie X, considéréé ci- 
dessous constitue un cas particulier. 
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tient exactement un seul élément. Il découle de cette définition que 
si une catégorie À posséde plusieurs objets univérsels, ces objets 
sont canoniquement isomorphes. 

Il est clair que lorsqu'on passe à la catégorie duale, l’objet uni- 
versel initial devient objet universel terminal et inversement. 

Le concept d'objet universel permet de considérer d’un point 
de vue uniforme de nombreuses constructions employées en mathé- 
matique. En particulier, nous verrons ci-dessous que les produits 
tensoriels, les algèbres enveloppantes, les représentations induites 
et les cohomologies des groupes peuvent être définis comme des 
objets universels dans des catégories appropriées. 

À titre d'exemple, nous donnerons ici la définition de la somme 
et du produit d'objets dans une catégorie quelconque. 

Soit {X,}4ca une famille d'objets de la catégorie X. Consi- 
dérons une nouvelle catégorie ÆK 4. Ses objets sont des collections 
(Y, {fa}a = À), où Ÿ est un objet de À et f, EMor (X,, Ÿ). 

On appelle morphisme de (Y, {fa}ceA) dans (Z, {ga}aeA) un 
morphisme h: Ÿ — Z tel que pour tout « € À le diagramme suivant 
est commutatif 1) 


V7 


Supposons que dans la catégorie X, il existe un objet universel 
initial {X, i,} (tous ces objets, comme nous l’avons remarqué 
plus haut, sont canoniquement équivalents). L’objet X s’appelle 
somme de la famille {X,} et le morphisme à, injection canonique 
de l’objet X, dans la somme X. 

La définition du produit P de la famille {X,}cea et de la 
projection canonique p, € Mor (P, X,) s'obtient de la définition 
de la somme par inversion des flèches, c’est-à-dire en remplaçant 
K 1 par (KA). 


Problème 1. Démontrer que pour toute famille d’ensembles de la 
catégorie A7, la somme et le produit existent. 

Indication. Considérer l'opération de réunion disjointe et de produit 
usucl d’ensembles. 


Une simple modification de la définition de la somme et du 
produit d’une famille d'objets nous amène au concept de limite 
inductive et projective. Soit À un ensemble d’indexes filtrant 
croissant; supposons que pour tout &« < $ un morphisme f,8 € 


1) Un diagramme formé d'objets et de morphismes de la catégorie 
s'appelle commutatif, si la composition des morphismes le long d’une trajectoire 
de flèches quelconque dépend seulement du début et de la fin de cette trajectoire. 
Dans notre exemple, cela veut dire que hof, — g,. 
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€ Mor (X,, X4)tel que f,, = fgy ° fus (pour chaque triplet & < B < 
< y) est donné. Considérons la catégorie dont les objets sont toutes 
les collections (Ÿ, {fo}hucA): fa € Mor (X,, Y) telles que, pour: 
chaque & < $, les diagrammes suivants sont commutatifs : 


f 
Ko Xy 


D 
Y 


Les morphismes de (Y, {f,}) dans (Z, {g,}) sont des morphismes: 
h € Mor (Y, Z) tels que, pour tout & € À, les diagrammes suivants 
sont commutatifs 


Xa 
vs 7 


L'objet universel initial dans cette catégorie s'appelle limite 
inductive de la famille {X,}. La définition de la limite projective 
s'obtient par inversion des flèches. 


Problème 2. Soit 4 l’ensemble des entiers naturels avec la relation 
d'ordre suivante: m < n «> m divise n; chaque X, l’ensemble des entiers. 


relatifs; l'application f,,, la multiplication par rn/m. Démontrer que la limite 
inductive de la famille {X,,} s’identifie naturellement avec l’ensemble des 
nombres rationnels et l’application f,, avec la division par m. 


Soient Æ, et K, deux catégories. Si l’on fait correspondre à 
chaque objet X de X, l'objet correspondant F (X) dans K,, et à 
chaque morphisme f € Mor (X, Y) le morphisme 


F(ÿ) EMor (F(X), F (Y)), 
de sorte que l’on ait les égalités 


F(x)= rx, F(og)=F(f)eF(8), 


on dit alors qu'est donné un foncteur covariant de K, dans K,. La 
notion de foncteur contravariant s'obtient si l’on remplace la dernière 
condition ci-dessus par F(fog) = F(g)°F(f) (ce qui équivaut. 
à remplacer l'une des catégories K,, K, par la catégorie duale). 

Les foncteurs covariants de XÆ, dans X, forment eux-mêmes 
une catégorie, où les morphismes de F dans G sont les morphismes 
dits fonctoriels, qui font correspondre à chaque objet X de X, un 
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morphisme @(X): F(X)— G(X), tel que le diagramme 
FUN CR) 
F(N | | Gt) 
Y 
PO EC) 
est commutatif pour chaque f E Mor (X, Y). 
On définit d’une manière analogue la catégorie des foncteurs 
contravariants. 
On peut définir également les foncteurs de plusieurs variables, 
covariants par rapport à certaines variables et contravariants par 
rapport à d'autres. 


Problème 3. Démontrer que pour toute catégorie X, l'application 
(X, Y)- Mor (X, Ÿ) peut être prolongée en un foncteur de À X X dans M, 


contravariant par rapport au premier argument et covariant par rapport au 
second. 

Indication. Poser F(f, g): @r> gopof pour f EMor (X;,, À), 
gEMor (Ÿ, Y,), ®EMor (X, Ÿ). 


Un foncteur covariant F de la catégorie À dans M est dit repré- 
sentatif, s’il est isomorphe au foncteur Mor (X, :) que l’on obtient 
à partir du bifoncteur Mor !) en fixant d’une manière appropriée 
le premier argument. L'objet X s'appelle alors objet représentatif 
pour le foncteur F. 

D'une manière analogue, le foncteur contravariant F possède 
un objet représentatif Ÿ si F est isomorphe à Mor (:, Y). 

De nombreux foncteurs importants sont représentatifs, ou devien- 
nent représentatifs, par une modification appropriée de la catégorie 
considérée. 


1.3. Eléments de topologie. 


Les notions de topologie considérées ci-dessous ne sont en fait qu’une liste 
de notations, de concepts et de faits fondamentaux. Les lecteurs désireux de 
se familiariser avec les fondements de topologie sont renvoyés au livre [40], 
chapitre II. Pour un exposé plus détaillé voir le livre de J. L. Kelley [38]. 


On appelle espace topologique l’ensemble X muni d’un système *% 
de sous-ensembles qui possède les propriétés suivantes: 

4) l’ensemble vide et tout l’ensemble X appartiennent à 7; 

2) l'intersection d’un nombre fini d'éléments de + appartient à T; 

3) la réunion d’une famille quelconque d'éléments de t appar- 
tient à T. 

Le système t s'appelle topologie sur X. 

Un sous-ensemble 7’ & t s'appelle base de la topologie +, si 
chaque élément de + est la réunion d’une certaine famille d'éléments 


1) C'est-à-dire un foncteur de deux variables. 
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de T’. Chaque système de sous-ensembles de X, qui satisfait aux 
deux premières conditions ci-dessus est une base d’une certaine 
topologie. 

Les ensembles appartenant à la topologie t s'appellent ouverts 
par rapport à cette topologie. On appelle voisinage du point x € X 
tout sous-ensemble ouvert qui le contient. L'ensemble complémen- 
taire à un ouvert s'appelle fermé. Pour chaque Y € X il existe 
un fermé minimal qui contient Ÿ. On l'appelle adhérence de Y. 
On dit que le sous-ensemble Y est dense dans X, si l’adhérence 
de Ÿ coïncide avec X. Les ensembles qui s’obtiennent à partir des 
ensembles fermés et ouverts par les opérations de réunion dénombrable, 
d’intersection dénombrable et par passage à l’ensemble com- 
plémentaire, s'appellent boréliens. 

Dans un espace topologique X, on peut définir le concept général 
de limite de la manière suivante. Soit {x,}.eA un filet sur X (c’est-à- 
dire une famille de points de X, indexés par les éléments d’un ensem- 
ble filtrant croissant À; voir 1.1). Le point x s'appelle limite du 
filet {x,}, si pour chaque voisinage U du point x, il existe un élé- 
ment «à € À, tel que xs E U pour tout $ > «. Nous noterons ceci 
par Zy —> T Ou bien x, —=Z. On omettra souvent de noter expli- 

QE 
citement l’ensemble À. 

Une application d’un espace topologique dans un autre s’appelle 
continue, si l’image inverse de chaque ouvert est un ouvert, et boré- 
lienne si cette image est un ensemble borélien. 


Problème 1. Démontrer que l'application f est continue si et seule- 
ment si x, — x entraîne f (x,) — f (x) (c’est-à-dire que f est permutable à 


l'opération du passage à la limite). 


Dans les espaces à base dénombrable il suffit de remplacer les 
filets, dans la condition du problème 1, par les suites usuelles. 

Les espaces topologiques et leurs applications forment une caté- 
gorie 7, où l’on peut définir la somme et le produit d’une famille 
quelconque d'objets. 


Problème 2. Démontrer que le produit d’une famille d’espaces 
topologiques {X,, TA est l’ensemble [I X, de topologie +, dont la base 
QE À 
est formée des ensembles de la forme Il Us X IT Xa Où À, est un sous- 
| — GE A1 GE AX A1 
ensemble fini de 4, U, ET... 
Indication. Considérer d’abord le produit de deux espaces. 


Si l’intersection de Ÿ avec tout ouvert de X est considerée comme 
ensemble ouvert dans Ÿ chaque sous-ensemble Y d’un espace topo- 
logique (X, t) devient lui-même un espace topologique. Le sous- 
ensemble Ÿ, muni de cette topologie, s'appelle sous-espace de X. 
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Soit À une relation d'équivalence sur X; l’ensemble quotient 
X(r, Sera un espace topologique, si l’on appelle ouverts ceux des 
sous-ensembles de X,r,, dont les images inverses dans X sont des 
ouverts. L'ensemble X,,, muni de cette topologie s'appelle espace 
quotient de l’espace X. 

Un espace topologique s’appelle compact, si dans chaque recou- 
vrement de cet espace par des ouverts on peut choisir un sous-recouvre- 
ment fini. 


Problème 3. Le produit d’une famille quelconque d’espaces com- 
pacts et l’image d’un espace compact par une application continue sont des 
espaces compacts. 


Un espace topologique est dit séparé ou de Hausdorf, si deux 
points distincts quelconques possèdent des voisinages disjoints, 
ou semi-séparé (on dit également espace T,) si l’un des points possède 
un voisinage qui ne contient pas l’autre. On dit d’un espace de 
Hausdorf qu’il est un compact, si c’est un espace compact. (Ne 
pas confondre « compact » (nom commun) avec « compact » (adjectif).) 

Dans chaque espace de Hausdorf un filet quelconque ne peut 
posséder qu’une seule limite. Cette propriété est si importante, que 
la majorité des espaces topologiques considérés en mathématiques 
et dans leurs applications, sont des espaces de Hausdortf. 


Il existe néanmoins des classes importantes d’espaces topologiques qui 
ne sont pas, en général, séparés. Ce sont, premièrement, les espaces quotients 
(par exemple, les espaces des orbites d’un groupe de transformations — voir 
ci-dessous le $ 2 ; ils sont, dans les cas les plus intéressants, des espaces de type 
T, non séparés) et, deuxièmement, les espaces considérés en géométrie algébri- 
que, minus de la topologie de Zariski (dans lesquels les ensembles fermés sont 
des ensembles de solutions de systèmes d’équations algébriques). 


Un espace topologique s'appelle connexe, s'il ne peut pas être 
mis sous la forme de somme de deux sous-ensembles disjoints simul- 
tanément ouverts et fermés. 


Problème 4. Toute application continue d’un espace connexe dans 
un espace discret (c.-à-d. tel que tous les sous-ensembles sont ouverts) est cons- 
tante. 

Indication. Démontrer que l’image inverse de chaque point est vide, 
ou bien coïncide avec l’espace tout entier. 


Une classe importante d'espaces topologiques s’obtient grâce 
à la construction suivante. 

On dit qu'une distance (ou une métrique) est donnée sur l’ensem- 
ble X s’il existe une fonction non négative p sur X X X à valeurs 
réelles, possédant les propriétés suivantes: 

1) p (x, y) 0 et p (x, y) = 0 si et seulement si x = y 

2) p (x, y) = p (x, y); 

3) p (x, y) + p GW, 2) >p (a, à. 


. 
? 
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L'ensemble X, muni d’une distance, s'appelle espace métrique. 
Chaque espace métrique peut être considéré comme étant topolo- 
gique, si l’on prend pour base d’ensembles ouverts, la famille des 
boules ouvertes, c’est-à-dire des ensembles de la forme B, (x) — 
= {y; p(x, y) <r},xzEX,reER. 

Bien entendu, des espaces métriques distincts peuvent engendrer 
des espaces topologiques isomorphes. D'autre part, il existe des 
espaces topologiques, qui ne peuvent être obtenus par cette construc- 
tion; on les appelle non métrisables. 

Pour les espaces à base dénombrable, la métrisabilité est équiva- 
lente à chacune des conditions suivantes : 

a) deux fermés quelconques disjoints possèdent des voisinages 
disjoints À) ; 

b) toute fonction continue à valeurs réelles, définie sur un sous- 
ensemble fermé, se prolonge à une fonction continue, définie sur 
l’espace tout entier. 

Tout espace métrique admet les deux notions fondamentales : 
continuité unilorme et espace complété. L'analyse de ces concepts 
nous amène à la définition suivante. 

L'ensemble X s’appelle espace uniforme ou espace de proximité, 
si À est muni d’un système © de relations binaires possedant les 
propriétés suivantes : 

(1) chaque relation R € © contient la diagonale A: 


RSA = (a; Ti} GEXTEXXX,; 


(2) pour toute relation R € © il existe une relation S € © telle 
que SS-1 R. 

Si l’on a REG, au lieu de (x, y) € R, nous dirons que x et y 
sont ÀR-proches. 

L'application f d’un espace uniforme (X, o) dans un espace 
uniforme (X”, 6’), s'appelle uniformément continue, si pour chaque 
R" € 6”, il existe un R € ©, tel que du fait que les éléments x et y 
sont R-proches il découle que f(x) et f (y) sont R’-proches. 

Chaque espace métrique (X, o) engendre un espace uniforme 
(X, 6) pour lequel la famille o est formée de tous les ensembles de 
la forme R, = {(x, y); p(x, y) <r},rER. 

Chaque espace uniforme (X, ©) engendre un espace topologique 
(X, t) dont la base d’ensembles ouverts est formée de tous les ensem- 
bles de la forme R, = {y; (x, y ER}, REG, x E X. 


Problème 5. Démontrer que l’on peut définir, dans la catégorie des 
espaces uniformes, le produit d’une famille quelconque d'objets, et que l’opéra- 
tion du passage au produit est permutable au foncteur ci-dessus (de la catégorie 
des espaces uniformes vers la catégorie des espaces topologiques). 


1) On appelle voisinage d'un ensemble X tout ensemble ouvert U > X 
qui le contient. 
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Le filet {x,}cea dans un espace uniforme (X, 6) s'appelle 
fondamental, si pour tout R € 6, on peut trouver un indice «& € À, 
tel que x, et x, seront R-proches pour tous les $ et y, qui suivent @. 

Un espace uniforme s'appelle complet, si chaque filet fondamental 
possède une limite. 

Chaque espace uniforme X peut être complété, c’est-à-dire inclus 
comme sous-ensemble dense dans un certain ensemble complet X. 


Pour les espaces de Hausdorf cette inclusion i: X —- X peut être 
définie comme objet universel dans la catégorie des applications 
dans les espaces complets. Par conséquent, dans ce cas, le complété 
se définit d’une manière unique, à isomorphisme près. 


Problème 6. Soient X un espace de Hausdorf complet, ŸY un sous- 
espaccde X. Démontrer que le complété de Y coïncide avec son adhérence dans X. 


Une méthode puissante pour étudier la catégorie T des espaces 
topologiques et les catégories qui en dérivent consiste à construire 
des foncteurs à partir de ces catégories dans d’autres catégories. 

Soit HT la catégorie d'espaces topologiques dont les morphismes 
sont les classes homotopiques des applications continues. (Deux 
applications f, et f, de À dans Ÿ appartiennent à la même classe 
d’'homotopie ou sont homotopes, s’il existe une famille d'applications 
fs: X—Y,tEI[0, 1], telle que l'application 


X X[0, 1] Y: (x, tj f(x) 
est continue.) 

La majorité des foncteurs employés sont de la forme F — F,.°G, 
où G est le foncteur naturel de T dans HT faisant correspondre à 
chaque objet cet objet lui-même, et à chaque morphisme sa classe 
d'homotopie. 

Exemple 1. x, (X, x) est le n-ième groupe d'homotopie de 
l’espace X par rapport au point x € X. C’est un foncteur covariant 
de la catégorie 7, des espaces pointus (dont les objets sont des espaces 
topologiques avec un point fixe distingué, et les morphismes des 
applications continues, faisant correspondre entre eux les deux 
points distingués) dans la catégorie des ensembles pour nr —0, 
des groupes pour nr —= À et des groupes abéliens, n > 1. 

La définition usuelle des groupes d’homotopie peut être énoncée 
de la manière suivante. Soit G; le foncteur naturel de 7, vers AT, 
(la catégorie des espaces pointus ayant pour morphismes les classes 
d'homotopie des applications, qui envoient le point distingué dans 
un point distingué). Alors n, = F, o G, où F, —= Mor (S”, -) et 
S® désigne une sphère n-dimensionnelle (avec point distingué). 

Le groupe x, (X) s'appelle groupe fondamental ou groupe de 
Poincaré de l’espace X. Si ce groupe est trivial, l’espace s'appelle 
simplement connexe. 


2—0361 


18 PREMIÈRE PARTIE, NOTIONS PRÉLIMINAIRES 


Exemple 2 H"(X, ID est le n-ième groupe de cohomologies 
de l’espace X à coefficients dans le groupe Il. Il existe plusieurs 
définitions différentes de ce foncteur (simpliciale, de CW-complexes, 
singulière, de Cech, de De Rham, et autres). Pour des espaces « suf- 
fisamment bons » (en particulier, pour les variétés compactes dif- 
férenciables; voir $5), toutes ces définitions sont équivalentes 
entre elles. Nous donnons ici une définition basée sur le concept 
de foncteur représentatif. Soit Æ (Il, nr) un espace topologique, qui 
possède les propriétés suivantes 

0 pour mn, 
de CAS 0 3={ IT pour m=—n. 


(On peut montrer qu’un tel espace existe, et que tous ces espaces 
sont des objets isomorphes dans la catégorie HT; définie plus haut.) 
Alors AH" (.,11) = Ff 0 G, G est le foncteur naturel de T7 vers 


HT; tandis que Ff = Mor(:, K (IL, n)). 


Problème 7. Si l’espace X se déforme en un point sur soi-même, on 


a alors An (X, II) = 0 pour n > 1. 
Indication. L'objet X est isomorphe à un point de la catégorie HT. 


Les espaces Æ (II, nr) ont une structure assez compliquée. A l’ex- 
ception de certains espaces Æ (II, 1), ils sont tous de dimension 
infinie. 

Problème 8. Démontrer que pour espace K (Z, 1), Z étant le groupe 
des entiers relatifs, on peut prendre le cercle ordinaire Sf. 


Citons encore une définition plus pratique pour les calculs directs. 

Soit U = {U,},=ea un recouvrement de l’espace X par des 
ensembles ouverts. Appelons cochaîne de dimension nr du recouvre- 
ment U à coefficients dans II, toute fonction c de À X À X ... X À 
(n + 1 facteurs) dans IT possèdant les propriétés suivantes: 

1) l’ensemble de définition de c est formé de tous les suites 
(Go y, + + +» On) pour lesquelles l'intersection Uo, NA Ua, N - .. 

an est non vide; 

2) la fonction c est alternée, c’est-à-dire qu’elle change de signe 
lorsqu'on transpose deux arguments. 

L'ensemble de toutes les cochaînes n-dimensionnelles forme un 
groupe, noté C7 (U, II). 

Introduisons un opérateur de cobord d, qui agit de C”*(U, Il) 
dans C*1 (1, II) de la manière suivante: 

n+i . a 
dc (Go, ..., Anx1) — à CE (ses Qi ss dt) 


(le signe * veut dire que l'argument écrit sous ce signe est omis). 
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La cochaîne dc s’appelle cobord de la chaîne c. Désignons par 
B” (YU, II) l’ensemble de tous les cobords n-dimensionnels. Si l’on 
a dc — 0, on dit alors que la cochaïne c est un cocycle. Désignons 
par Z"(U, Il) l’ensemble de tous les cocycles n-dimensionnels. 

L'opérateur d, comme on vérifie aisément, possède la propriété 
d? = 0. Par conséquent 


B7 (U, I) & Z7 (, D. 
Le groupe quotient 
H" (, I) = Z" (0, I1)/B7 (U, ID) 


s'appelle groupe de cohomologie de dimension nr (d’après Cech) du 
recouvrement Ü. Le groupe H°" (X, Il) peut être défini comme limite 
inductive des groupes AH" (Ù, II) par le filet de tous les recouvre- 
ments. Le calcul direct de cette limite peut souvent être évité grâce 
au théorème suivant : 

Théorème de Leray. Si le recouvrement Ü = {U,} 
est tel, que tous les ensembles VU, et leurs intersections ont des 
groupes de cohomologie triviaux dans les dimensions n > 1, alors 


HA" (X, I) = A" (4, I). 


Problème 9 (D. A. Kajdan). Déduire du théorème de Leray 
le théorème de Helley suivant: 

Si dans l’espace euclidien R' on a une famille de n + 2 ensembles convexes, 
dont tous les n + À ont un point commun, alors tous ces n + 2 ensembles ont eux 
aussi un point commun. 

Indication. Faire appel au problème 7 et au fait que Hn (X, Z) = 0 
pour tout ensemble X € R?. 

Corollaire. La condition de convexité dans le théorème de Helley 
peut être remplacée par la condition plus faible suivante: tous les ensembles 
et leurs intersections possèdent des cohomologies triviales en dimensions n > 1. 

Problème 10. Démontrer que 


IT pour k—0 et n, 


HR (S", Il) = 
À ) O0 dans les autres cas. 


Indication. Considérer le recouvrement de la sphère par n +2 
demi-sphères ouvertes. 


Pour des renseignements plus détaillés sur les foncteurs n,, H7 (+, Il) et 
d’autres foncteurs voir les livres [2], [53], [31], [32]. 
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2.1. Groupes de transformations et groupes abstraits. On appelle 
groupe de transformations une famille non vide G de transformations 
(c'est-à-dire d'applications dans soi-même) d’un certain ensemble X, 
telle que : 

1) si 8, € G et si g, € G, alors g,g, € G, 

2) si g EG, alors g”! existe et appartient à G. 


2* 


20 PREMIÈRE PARTIE. NOTIONS PRÉLIMINAIRES 


Comme exemple de groupe de transformations, citons le groupe 
G; de toutes les bijections de X sur soi-même et le groupe G, qui 
ne contient que la transformation identique. Il est clair que chaque 
groupe G de transformations de X est compris entre ces deux groupes: 


GmaeGEG. 


Problème 1. Enumérer tous les groupes de transformations d’un 
ensemble de trois éléments. 


Supposons que l’ensemble X soit muni d’une certaine structure, 
La famille G de toutes les transformations g telles que g et g-! ne 
modifient pas cette structure forme évidemment un groupe. Ce 
groupe s’appelle groupe des automorphismes de cette structure. 

Exemples. Le groupe des homéomorphismes d'un espace 
topologique, le groupe des isométries d’un espace métrique, le 
groupe des opérateurs linéaires inversibles. 


En fait, cette méthode de construction des groupes de transformations a un 
caractère universel: chaque groupe de transformations est un groupe d’auto- 
morphismes d’une structure choisie de manière appropriée, 


Il est souvent utile de faire abstraction du fait que les éléments 
du groupe G sont les transformations d’un certain ensemble, et de 
ne se rappeler que de la loi de multiplication de ces éléments. 

Le concept qui apparaît alors s’appelle groupe abstrait (pour le 
différentier d’un groupe de transformations), ou simplement groupe. 
Plus exactement, on appelle groupe un ensemble G, muni d’une 
loi de multiplication (c’est-à-dire une application G X G— G; 
nous écrirons g, ° g, ou simplement £g,g, le résultat de la multipli- 
cation de g, par g»), qui possède les propriétés suivantes: 

1) associativité: go (ga0 £3) = (81° Le) © 83; 

2) existence d’élément unité: le groupe G possède un élément e, 
tel que ec g=gee = g pour tout gEG; 

3) existence d'éléments inverses: pour chaque g € G, il existe un 
tel g16G, que gog*=g'og=e. 

Un groupe G s'appelle commutatif, ou abélien, si, outre des con- 
ditions ci-dessus, on a: 

4) commutativité: g1° £a = La &1 POUr 8, g: € G quelconques. 

Dans les groupes commutatifs l'opération de groupe est souvent 
appelée addition, la notation g, + g, préférée à g, + g, et l'élément 
unité désigné par 0. 

Il est évident que chaque groupe de transformations est un 
groupe dans le sens de la définition ci-dessus. Les groupes tels que: 

a) le groupe des transformations isométriques d’un triangle 
équilatéral, 

b) le groupe de toutes les bijections d’un ensemble de trois 


éléments sur soi-même, 
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c) le groupe de toutes les matrices inversibles d'ordre deux 
à coefficients dans le corps des restes modulo 2, 

d) le groupe des transformations rationnelles du plan complexe 
engendré par les transformations 21-21 et zr->1—2, sont 
tous des groupes de transformations différents, mais identi- 
ques (isomorphes) en tant que groupes abstraits. Chacun d’entre 
eux contient 6 éléments, qui se multiplient d’après la même loi 
de composition (vérifiez-lel). 

L'application @ d’un groupe G dans un groupe Æ s'appelle 
homomorphisme, si @ (8, © g:) — ® (81) © ® (g:) quels que soient g;, 
go E G. Les groupes et leurs homomorphismes forment la catégorie 
des groupes. 

Dans le cas où le groupe Æ est commutatif, les homomorphismes 
de G dans À forment eux-mêmes un groupe commutatif par rapport 
à l'opération (p, + ®2) (£g) = 1 (g) + p2 (g). Ce groupe est noté 
Hom (G, 


Problème 2. Trouver le groupe Hom (G, H), où G et H sont des grou- 
pes suivants: 

a) le groupe Z des entiers relatifs avec l’opération d’ addition ; 

b) le groupe Z, des restes modulo n avec l'opération d’addition ; 

c) le groupe Q des nombres rationnels avec l’ opération d’addition ; 

d) le groupe Q* des nombres rationnels non nuls avec l’opération de multi- 
plication. 

Indication. La réponse est donnée par la table suivante, où (m, n) 
désigne le P.G.C.D. des nombres m et n, et @ la somme directe dans la catégorie 
des groupes abéliens. 


Q 


a NES Q8Q8Q... 


m 
ES 


Soit un homomorphisme ®: G— H; alors, 


ker p = {gE G: (g) —=e} est le noyau de l’homomorphisme #, 
imp = {p(g): gE G} est l’image de l’homomorphisme . 
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Une suite de groupes et d’homomorphismes 


Pr 
> Gn — Gnu — . 


s'appelle exacte, si l’image de chaque homomorphisme coïncide 
avec le noyau de l’homomorphisme suivant. Par exemple, les suites 
suivantes (où le chiffre 1 représente le groupe d’un seul élément) 


1—G + H, GG H—1, CHA 


sont exactes si et seulement si @ est un monomorphisme (c'est-à-dire 
que ker @ — 1), un épimorhisme (c’est-à-dire que im @ = À) et un 
isomorphisme, respectivement. 

Soit g, un élément fixe du groupe G. L'application gr g'gg, 
est un automorphisme du groupe G (c’est-à-dire un isomorphisme 
du groupe sur lui-même). Les automorphismes de ce type s'appellent 
internes. On écrit souvent g£60 au lieu de g5'ggo. 

L'homomorphisme œ@ d’un groupe abstrait dans un groupe de 
transformations s'appelle réalisation ou représentation de ce groupe. 
Une représentation s'appelle exacte si @ est un monomorphisme. 

L'ensemble X s'appelle G-espace à gauche s’il est muni d’une 
réalisation de G dans le groupe des transformations de X. Dans 
ce cas, on dit également que le groupe G agit à gauche sur X et le 
résultat de l’action de l’élément g € G sur l’élément x € X est désigné 
par gx. L'égalité g, (g,t) = (8182) x est alors satisfaite. 

On rencontre souvent la situation où à chaque élément g€G 
correspond une transformation œ(g) de l’ensemble X telle que 
p (8182) — p (22) p (8.1). Dans ce cas, q s'appelle antireprésentation 
de G et l’ensemble X s’appelle G-espace à droite. On dit également 
dans ce cas que G agit à droite sur X et l’on écrit l’élément (g)x 
sous la forme zg. On a alors l'égalité (xg,) gs — x (g185). 

Exemple 1. Par rapport au groupe G = GLi(n, K) des 
matrices inversibles d'ordre n sur le corps X l’ensemble des vecteurs- 
colonnes forme un G-espace à gauche et l’ensemble des vecteurs- 
lignes un G-espace à droite. 

Exemple 2. Dans chaque catégorie l’ensemble Mor (4, B) 
est un G.;-espace à gauche par rapport à G, — Aut À et un G.-espace 
à droite par rapport à G, — Aut B (Aut À désigne ici le groupe 
d’automorphismes de l’objet À, c’est-à-dire l’ensemble des éléments 
inversibles de Mor (À, À)). 

Les G-espaces à gauche et à droite forment deux catégories, 
dont les morphismes s'appellent G-applications et sont toutes les 
applications permutables à l’action du groupe. Ces deux catégories 
sont canoniquement isomorphes, car chaque G-espace à gauche sur 
X se transforme en un G-espace à droite si l’on pose par définition 
xg = g'ix. 


$ 2. GROUPES ET ESPACES HOMOGÈNES 23 


Soient X et YŸ deux G-espaces. On appelle produit sur G des 
espaces X et YŸ l’ensemble quotient X x Ÿ du produit À X Y 
G 


par rapport à l’équivalence déterminée par l’action de G sur X X Y. 
Par exemple, lorsque X et Ÿ sont respectivement des G-espaces 
à gauche et à droite, les paires (x, y) et (x’, y’) sont équivalentes 
si et seulement si x — xg, y" — gly pour un certain g€G. 
Un cas particulier important de cette construction s'obtient 
si l’on prend pour l’espace Ÿ un groupe G, contenant G et muni 
d’une structure évidente de G-espace à gauche. Dans ce cas, le produit 
X X G, se munit d’une structure naturelle de G:-espace à droite. 
G 


La correspondance X+-> X X G;, engendre, comme on vérifie 
G 


aisément, un foncteur de la catégorie ÆX 4, de tous les G-espaces dans 
la catégorie K,, de tous les G.-espaces. Soit G, le groupe des rotations 
de l’espace à trois dimensions autour d’un point fixe ©, G étant 
le sous-groupe des rotations autour d’un axe / passant par le point ©. 
Soit X un plan de deux dimensions orthogonal à /, avec l’action 
naturelle de G sur X. Alors X x G:, considéré comme un G.,-espace, 


est isomorphe à l’ensemble de tous les vecteurs tangents à la sphère 
de centre ©. 
Ce même foncteur peut être obtenu d’une autre façon naturelle. 


Problème 3. Soit X un objet de la catégorie K;. Considérons le 
foncteur F de la catégorie KG, dans la catégorie des ensembles : 


F(Y)= Mor(X, Ÿ), 


où Ÿ est Ÿ considéré comme un objet de XG (chaque G;-espace est donc un 
G-espacc). Démontrer que ce foncteur est un foncteur représentatif et que l’objet 
représentatif correspondant est X X G;. Autrement dit, 

G 


Mor (X, Ÿ)—=Mor(X x Gy, Ÿ) 


(comme foncteur de Y). 

2.2. Espaces homogènes. On dit que le groupe G agit transitive- 
ment sur X ou que le G-espace X est homogène, si chaque point de 
X est transformé en n'importe quel autre point par une certaine 
transformation du groupe G. Chaque G-espace est la réunion d'espaces 
homogènes. En effet, la G-orbite du point x € XÀ (c’est-à-dire l’en- 
semble de tous les points de la forme gx, g € G) est un G-espace 
homogène, tandis que l’ensemble tout entier est la réunion des 
orbites de ses points. 

On peut décrire, dans un certain sens, tous les G-espaces homo- 
gènes. Fixons un point x € À. L'ensemble G, de tous les éléments 
de G qui laissent le point x invariant forme un sous-groupe de G. 
Ce sous-groupe s’appelle sous-groupe stationnaire ou stabilisateur du 
point x. Soit g € G. L'ensemble de tous les éléments de la forme 
gh, h EG, s'appelle classe d'équivalence à gauche du groupe G par 
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le sous-groupe G,; elle est notée gG,. On vérifie aisément que gG. 
se compose de tous les éléments du groupe G qui envoient le point 
x dans le point gx. Par conséquent, chaque G-espace à gauche uniforme 
est isomorphe à l’espace des classes d'équivalence à gauche par un 
certain sous-groupe. Inversement, si H est un sous-groupe de G, alors 
l’ensemble G/H des classes d'équivalence à gauche de G par Æ est 
un G-espace uniforme par rapport à l’action naturelle de G: 


£: LH ggiH. 


Problème 1. Les espaces homogènes G/H, et G/H, sont isomorphes 
(en tant qu’objets de la catégorie KG; voir 2.1), si et seulement si les sous- 
groupes 7, et À, sont conjugués, c’est-à-dire sont envoyés l’un dans l’autre par 
un automorphisme interne du groupe G. 


Tout ce que nous venons de dire se répète mot par mot pour 


définir les G-espaces à droite et les classes d'égivalence à droite. 
L'espace des classes d'équivalence à droite de G par H sera noté 
HX G. 

Le sous-groupe H s'appelle invariant (ou normal, ou encore 
diviseur normal) dans G, si tous les sous-groupes conjugués avec H 
coincident avec lui. Dans ce cas chaque classe d’équivalence à 
droite est une classe d'équivalence à gauche et inversement. Un 
espace homogène G/H devient lui-même un groupe par rapport 
à l’opération g,H © g,H = g,g,H. Géométriquement, cela veut dire 
que le produit xy s'obtient à partir de y par la même transformation 
qui donne x à partir du point origine. Cette définition est correcte 
du fait que tous les sous-groupes stationnaires de tous les points 
coïncident (la transformation se détermine donc par le résultat 
de son action sur un seul point). Le groupe ainsi obtenu s'appelle 
groupe quotient de G par X. 

Dans ce qui suit nous aurons souvent besoin de forme générale 
de la G-application d’un G-espace X sur soi-même ou dans un autre 
G-espace Y.. Résolvons dès maintenant cette question pour les G-espaces 
homogènes. Soient X — G/H, Y — G/K et ®: À — Y une G-appli- 
cation. Supposons que œ envoie la classe Æ € X dans la classe 
gK € Y. Alors o (g,4) = g,p (4) = g,gK, c'est-à-dire que l’appli- 
cation œ est entièrement déterminée par l'élément g € G. Néanmoins 
cet élément n’est pas arbitraire. En effet, si h € H, alors kH — H. 
Par conséquent, œ(hH) = œ (A), c’est-à-dire que hgK — gK quel 
que soit h € H, d’où il s'ensuit H£ — g-!Hg € K. Inversement, si 
un élément g EG possède cette propriété, l'application œ: g,H —- 
—g.£gK sera une application bien définie. Les éléments g et g’ 
engendrent alors la même G-application œ, si et seulement si 
gg € K. 

Considérons en détail le cas où À — Y et l'application œ est un 
automorphisme. Dans ce cas À = H et HF — H, car ®"!, de même 
que œ, est un automorphisme. L'ensemble des éléments g € G 
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qui possèdent la propriété H° — H est appelé normalisateur du 
sous-groupe À dans G et désigné par V4, (H) (ou simplement N (H), 
s’il est clair de quel groupe G il s’agit). Le groupe X — G/H de 
tous les automorphismes de G-espace est, par conséquent, isomorphe 
au groupe quotient N (H)/H. 

Soient À et K deux sous-groupes de G et g € G. L'ensemble 
de tous les éléments de la forme hgk, hE H, kEC€Kest noté H£gK 
et s’appelle classe d'équivalence double (ou bilatère) du groupe G 
par les sous-groupes Æ et X. L'ensemble de toutes les classes bilatères 
est noté À X G/K. Nous laissons au lecteur le soin de vérifier que 
l'ensemble H X G/K est isomorphe à: 

a) l’ensemble des X-orbites dans X = HG, 

b) l’ensemble des Æ-orbites dans Y —G/K, 

c) l’ensemble des G-orbites dans À X Y, 

d) l’ensemble X x Y. 

G 


2.3. Types principaux de groupes. Les plus simples sont les 
groupes commutatifs dont ceux à un nombre fini de générateurs 


D: 


sont faciles à classifier. 


Problème 1. Chaque groupe à un seul générateur (un tel groupe 
s'appelle cyclique) est isomorphe soit au groupe Z des entiers relatifs, soit au 
groupe Z,, des restes modulo m. 


On démontre facilement par récurrence que chaque groupe 
abélien G à un nombre fini de générateurs est isomorphe à la somme 
de groupes cycliques. L'exemple G = Q permet de voir que cela 
n’est pas vrai pour tous les groupes abéliens (le groupe additif des 
nombres rationnels). 


Problème 2. Soit M le P.P.C.M. et d le P.G.C.D. des nombres m 
et n. Démontrer que les groupes Z,, @ Z, et Zm ® Za sont isomorphes. 


On déduit facilement de l’énoncé du problème 2 que chaque 
groupe abélien à un nombre fini de générateurs est isomorphe exacte- 
ment à un seul groupe de la forme 


Zn D Zms D ... D Zm, P ZE ...E2, 


où chacun des nombres m;, i—1, 2, ..., k — 1 est un diviseur 
du nombre m;:,. 

Les groupes non commutatifs peuvent être classifiés par leur 
degré de non-commutativité. Pour deux sous-ensembles X et Y 
du groupe G, désignons par [X, Y] l’ensemble de tous les éléments 
de la forme xyx”!y 1, xE X, yEY. 

Considérons deux suites de sous-groupes 


CCG Gr SG SE 
GC 2 TS: 20 2% .;, 
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où G, est le sous-groupe engendré par l’ensemble [G,_,, G,-,l (ce 
sous-groupe s'appelle n-ième dérivée du groupe G) et G” le sous- 
groupe engendré par l’ensemble [G, G°-1]. 

Pour un groupe commutatif, ces suites sont triviales: G, = G° — 
— À pour nr > 1. Le groupe G s'appelle résoluble (respectivement 
nilpotent) de classe k, si la première (respectivement la seconde) 
de ces suites se termine, c’est-à-dire G, — 1 (respectivement G° = 1) 
à partir de n = k. 


Problème 3. Démontrer que G est un groupe résoluble de classe x, 
si et seulement s’il existe 

un sous-groupe invariant abélien À, &6G, 

un sous-groupe invariant abélien À, de G, = G/4,, 

un sous-groupe invariant abélien À, de G; = G;/A, etc., et cette chaîne 
s’interrompt à la k-ième itération, c’est-à-dire que G, = 1 

Indication. Prendre pour 4, le (4 — 1)-ième groupe dérivé et raison- 
ner par récurrence sur #. 


Soit X un sous-ensemble du groupe G. L'ensemble de tous les 
éléments du groupe G, permutables à tous les éléments de X, est 
appelé centralisateur de X dans G et désigné par C4 (X). Le centra- 
lisateur du groupe lui-même s'appelle centre de ce groupe. 


Problème 4. Démontrer que G est un groupe nilpotent de classe k, 
si et seulement si, 

G possède un centre C, non trivial, 

le groupe quotient G, — G/C, possède un centre non trivial C:, 

le groupe quotient G, = G1/C, possède un centre non trivial C,, etc, et cette 
chaîne s’arrête à la k-ième itération, c’est-à-dire que Gp = 1. 

Indication. C, contient Gh-1 


Un groupe n'ayant pas de sous-groupes invariants non triviaux 
(c'est-à-dire différents du groupe entier ou du sous-groupe unité) 
s'appelle simple. 


La classification des groupes simples finis est un des problèmes fonda- 
mentaux parmi les plus difficiles de la théorie des groupes. 

Ainsi, ce n’est que très récemment que l’on a démontré la fameuse hypo- 
thèse de Burnside, selon laquelle il n’existe pas de groupes simples d’ordre 
impair. Néanmoins le développement rapide de la théorie des groupes infinis 
(groupes de Lie et groupes algébriques) a permis d'enregistrer ces dernières 
années des progrès notables dans ce domaine. 


2.4. Extensions de groupes. Supposons que le groupe G ne soit 
pas simple, c’est-à-dire qu’il contienne un sous-groupe G;, normal 
non trivial. Alors on a la suite exacte: 


A+ Go—G—G—1 


qui s’appelle extension du groupe G,; par le groupe G,. 
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L'étude de G dans un nombre important de cas se réduit donc, 
dans une certaine mesure, à l’étude de deux groupes plus « petits »: 
le sous-groupe G, et le groupe quotient G, — G/G. 

Notons que la connaissance de G, et de G, ne permet pas, en géné- 
ral, de retrouver le groupe G. En effet, chaque élément g € G définit 
un automorphisme interne du groupe G qui envoie G, dans lui-même. 
Nous obtenons, par conséquent, un homomorphisme du groupe G 
dans le groupe Aut G, des automorphismes de G,. Les éléments de 
G, sont envoyés par cet homomorphisme dans le sous-groupe Int G 
des automorphismes internes. Par conséquent, un homomorphisme 
de G/G; dans le groupe Aut G,/Int G, est défini. Pour retrou- 
ver G il suifit donc de connaître l’homomorphisme œ: G, — 
— Aut G,/Int G,. 

Supposons que cet homomorphisme soit connu, et essayons de 
retrouver le groupe G. Remarquons que le groupe G peut être identifié 
(comme ensemble) avec le produit direct des groupes G, et G,. En 
effet, si dans chaque classe g, € G, on choisit un représentant 
œ& (81) € G, chaque élément g € G se met alors uniquement sous 
la forme g = «à (g;) £o, 81 € Gus Lo € Go, Ce qui nous donne « l’indexa- 
tion » désirée des éléments de G par les paires de la forme (g,, go). 
Dans ce qui suit, il nous sera commode de supposer que le repré- 
sentant de la classe G, est l'élément unité. Alors, dans les coordon- 
nées choisies, les éléments du sous-groupe G, s'écrivent (e, go) 
et l'égalité suivante est satisfaite: 


(g1 go) (e, 80) = (81, So8o)- 
De plus, l’application 
(e, go) > (g1, e) (e, go) (g1, €) 


est un automorphisme de G, que nous noterons 1 (g,). Remarquons 
que l’image de 1% (g,) dans Aut G,/Int G, nous est connue: c’est 
@ (g.). Connaissant non seulement @, mais aussi 1, nous pourrons 
calculer le produit d’un élément quelconque de la forme (e, g,) 
à gauche par un élément quelconque de G: 


(e, go) (g1: 8) (e, 8) (g1, e) (e, 8) nn 
— (gs, e)(e, (81) go) (e, g5) = (g1, L'h (g1)7* gol go). 


Le produit de deux éléments de la forme (g,, e) doit s’écrire 


(g1, e) (gs, €) — (gigi, X (ga, 81): 


où Y%X: G X G —+G, est une certaine application. 
Connaissant 4 et y, on peut calculer le produit de deux éléments 
quelconques de G par la formule 


(gt, go) (ga gi) = (gags, X (gr, 83) LD (85)7! go] ge). (1) 
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On peut facilement vérifier que les fonctions 9: G, — Aut G, et 
X: G1 X G — G, sont liées par les relations: 


a) Ÿ (81) Ÿ (ge) — Ÿ (giga) 1 (YX (Si La); 


où Z(g) est un automorphisme interne de G, correspondant 
à l'élément g (1 (8): & + 8808 ‘); 


b)  Y(gige, 83) V (gs)! X(g1, ge) = X (gr, 8283) X (ga, 83), 


découlant de l’associativité de la multiplication dans G. Inverse- 
ment, deux fonctions quelconques 1 et y, qui jouissent des propriétés 
a) et b) déterminent par la formule (1) la loi de multiplication 
de groupe sur l’ensemble G, x G. 

Deux extensions, construites à l’aide des fonctions 4%, % et w”, 
sont équivalentes, c'est-à-dire que le diagramme suivant est commu- 
tatif 


1 G—G—G—î 


Us) | 


1 Go—G—G—1, 


si et seulement s’il existe une application Ë: G, — G, telle que 


Ce 


C) d" (g1) = Ÿ (g1) Z (6 (g1) 7), 
d) X' (gr 82) = 6 (g1g2) x (81, 82) Lp (e2°) LÉ (g1) IE (ga). 
L'application e est dans ce cas de la forme 


€: (g1, Lo) > (ga, E (gi) go): 


Il peut néanmoins arriver que des fonctions Ÿ et x qui satisfont 
aux conditions a) et b) n'existent pas. En effet, les automorphismes 
d (21) D (2) et 4 (£,82) se trouvent dans une même classe d’équiva- 
lence œ (8,82) € Aut G,/Int G, et, par conséquent, diffèrent par un 
automorphisme interne. 

Par conséquent, l'égalité a) est satisfaite et définit une fonction 
% (£1» Le), à un élément du centre du groupe G, près (car c’est précisé- 
ment ce centre qui représente le noyau de l’homomorphisme 
TI: Go — Int G,). En appliquant 7 aux deux membres de l'égalité 
b) on vérifie facilement que ces deux membres diffèrent par un 
certain élément @ (g,, go, £a) € C (Go). 

L’arbitraire restant pour définir % (g,, g,) permet de remplacer © 
par un élément de la forme 


P (g1g2, g3) B (g1, ge) B (g2, gs) *B (g1, g2gs) *, (2) 


où B est une certaine application de G, X G, dans C (G:). 
D'autre part, on peut montrer que pour w on peut prendre une 
application quelconque de G, X G, X G, dans C (G;), si elle possède 
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la propriété 
O(g1, 82 83)" O (gi, 82, Sagi) © (81, 8283 8) = 
— (82, gs, 8) © (gage, La, gi) 3 (3) 


mais cette application ne peut en général être représentée sous 
la forme (2) à l’aide de l'application $. 

Ainsi, on ne peut pas toujours retrouver le groupe G à partir 
des données G;, G, et o: Go — Aut G,/Int G,. Une certaine applica- 
tion ©, qui satisfait à (3), modulo une application du type (2) est 
l'obstruction à l'existence de G1). 

La situation se trouve singulièrement simplifiée si pour l’applica- 
tion %Ÿ: G, — Aut G, on peut choisir un homomorphisme. Les exten- 
sions, admettant un tel choix de 4, s'appellent centrales. Dans ce cas, 
de a) il s'ensuit que Z (4 (g,, 8:)) = e et, par conséquent, la fonction 
x est à valeurs dans le centre du groupe G,. Par conséquent, l’obstruc- 
tion œ@ prend automatiquement la forme (2), donc les fonctions 
x cherchées existent. D'autre part, si l’on fixe la fonction 4, l’ensem- 
ble des fonctions x qui satisfont à la condition b) forme un groupe 
abélien par rapport à la multiplication usuelle. L'ensemble des 
fonctions équivalentes à la fonction triviale %(£g,, g,:) =e, dans 
le sens de la condition d), forme un sous-groupe. 

Ainsi, l’ensemble des classes d'extensions équivalentes se trouve 
muni d’une structure de groupe abélien, qui en simplifie l’étude. 

L'élément unité du groupe des classes des extensions est l’exten- 
sion engendrée par la fonction y (g,, 8,) = e. Dans ce cas, le groupe 
G, est inclus dans G en forme de sous-groupe, l’extension s'appelle 
décomposable et le groupe G produit semi-direct de G, et G. 

Exemple Î. Le groupe £, des isométries positives de l’espace 
euclidien r-dimensionnel est le produit semi-direct du sous-groupe 
des rotations et de celui des translations. 

Exemple 2. Le groupe GL(n, Æ) de toutes les matrices 
d'ordre z non dégénérées, à éléments dans le corps X, est une exten- 
sion décomposable de ÆX* (le groupe multiplicatif du corps K), 
par le groupe SL(n, K) des matrices unimodulaires. 

Exemple 3. Le groupe Z,, est le produit semi-direct des 
groupes Z,, et Z,, si et seulement si r et m sont premiers entre eux. 

L'exercice ci-dessous permet de mieux assimiler les notions 
ex posées. 


Problème 1. Décrire toutes les extensions de la forme 


1— Z2m—>6G— Zh — 1, 


1) Pour la formulation de ce fait en termes de cohomologie des groupes voir 
le problème 2 de 2.5. 
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2.5. Cohomologie des groupes. 


Comme nous l’avons vu, le problème de l’extension des groupes se réduit 
à considérer les fonctions de 1,2 et 3 éléments du groupe, liées par certaines rela- 
tions particulières. Un grand nombre d’autres questions de la théorie des repré- 
sentations, de la géométrie algébrique, de la topologie se réduisent à des fonc- 
tions et relations analogues. L’analysé d’une telle situation a fait naître 
la notion de cohomologie d’un groupe; ce qui a permis de réunir sous un seul 
schéma de nombreuses théories assez proches. Nous ne donnons ici que quelques 
définitions fondamentales, renvoyant le lecteur soucieux de détails au livre 
de S. MacLane [43], où il peut trouver un exposé abordable et suffisamment 
complet des fondements de l’algèbre homologique, dont fait partie la théorie 
de la cohomologie des groupes. 


Supposons que le groupe G agisse sur un groupe abélien M. 
La fonction c(g,, ..., 8.) définie sur G X ... x G à valeurs 
dans M s'appelle cochaîne de dimension n, si 


C(ELo, + +, LEn) = LC(Lo, .-., L£n) 


pour tous les g, g; € G. L'ensemble de toutes les cochaînes de dimen- 
sion r forme un groupe C”" (G, M). Introduisons l'opérateur d qui 
agit de C*(G, M) dans C"*!(G, M) selon la formule 


n+1 
de(go, -.., £nm)= 2) (—1) (go, ..., gi, ..., nu). 


i=0 
Ici le signe ‘ indique que l’argument correspondant doit être omis. 
La cochaîne c s'appelle cobord de la cochaîne b si c = db, et cocycle 
si de = 0. On vérifie facilement la propriété fondamentale suivante 
de l'opérateur d: do d — 0. Par conséquent, le groupe Z"(G, M) 
de tous les cocycles de dimension n contient le sous-groupe B° (G, M) 
de tous les cobords des cochaînes de dimension n + 1. Le groupe 
quotient 

H"(G, M)=Z"(G, M)/B"(G, M) 

s'appelle n-ième groupe de cohomologie du groupe G à coeïficients 
dans M. Si M est un anneau ou une algèbre, alors H* (G, M) = 
— ® H"(G, M) peut également être transiormé en un anneau ou 


n 
une algèbre (gradués). 
Pour les calculs pratiques, il est plus commode de considérer 


au lieu de la cochaîne c (go, ..., &n) la fonction c(h,, ..., h,) — 
—c(e,h,hh;, . ..,hh;...h,) définissant uniquement la cochaïne 


donnée. 


Problème 1. Démontrer l'égalité 


dc (h1, ess hn+1) = hac (ho, .…..) Rn+1) + 


n Te . 
nu >, (—1)" c (A, ss Rj4, hihi+4 Riga hn+1)+(— 14e (R4,..., hn). 
i=1 
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En particulier, pour nr — 0, 1, 2, 3 l’opérateur d s'exprime en 
termes des fonctions c de la manière suivante : 


Ac (h)=hc—T, 
mm ro eu ae 
dc (hu, Re) = hac (2) — © (ha, ha) + c (ha), 
de (ha, ho, hs) = hac (he, hs) — © (haho, hs) + c (ha, hohs)— c (ha, ho), 
de(ha, Ra, hs, Ra) hic (ho, hs, ha) —C(hahe, hs, Re) + 
HOUR, hohs, ha) — (hi, hashshs) Flu, Ro, Rs). 


Problème 2. Démontrer que les résultats ci-dessus (sur les extensions 
des groupes) peuvent être formulés comme suit: 
L'obstruction à la construction de l'extension est un certain élément de 


H3 (G:, C (Go)). 


Les classes d'équivalence des extensions centrales sont indexées par les éléments 


de H°? (Gi, C (Go)). 


La méthode la plus efficace pour étudier les cohomologies des 
groupes consiste à considérer H"(G, M) comme un bifoncteur, 
contravariant par rapport à G et covariant par rapport à M. 

Il existe également une relation entre les cohomologies d’un 
groupe et celles d’un espace topologique. Dans le cas le plus simple, 
lorsque G agit trivialement sur M, cette relation est de la forme: 


H"(G, M) = H'"(K (G, 1), M). 


2.6. Groupes topologiques ct espaces homogènes. On appelle 
groupe topologique un ensemble G qui est à la fois un groupe et un 
espace topologique, à condition que l'opération de groupe et la 
structure topologique soient liées par la condition: 

l'application G X G— G: (x, y) > xy ! est continue. 

Cette condition équivaut à l’ensemble des trois conditions sui- 
vantes, plus faciles à vérifier: 

4. L'application (x, y) xy est continue en x et en y. 

2. L'application x > x”! est continue au point x —e. 

3. L'application (x, y) xy est continue, comme fonction de 
deux variables, au point (e, e). 

Chaque groupe abstrait muni de la topologie discrète (tous les 
sous-ensembles sont ouverts) peut être considéré comme un groupe 
topologique. Les groupes de toutes les transformations continues 
des espaces topologiques concervant une certaine structure supplé- 
mentaire en sont des exemples plus intéressants. Ainsi, par exemple, 
on obtient le groupe des matrices non dégénérées, le groupe des 
transformations coniormes du disque, le groupe des opérateurs 
unitaires dans un espace hilbertien, etc. 

Les groupes topologiques forment une catégorie, dont les morphis- 
mes sont les homomorphismes continus. (On considère parfois une 
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classe plus restreinte de morphismes, en imposant à l'application 
une condition supplémentaire: être ouverte ou fermée.) 

L'ensemble X s’appelle G-espace topologique (à gauche), s’il est 
un G-espace (à gauche) dans le sens usuel (voir 2.1) et, en plus, 
possède une topologie telle que l’application 


GXX — X: (g, x) gx 


est continue. Si l’espace X est séparé, le sous-groupe stationnaire 
de chaque point sera un sous-groupe fermé dans G. Inversement, 
si À est un sous-groupe fermé du groupe séparé G, alors l’espace 
G/H des classes d'équivalence à gauche, muni de la topologie quotient, 
sera un G-espace topologique homogène séparé. Si X est n’importe 
quel autre G-espace topologique, avec le même sous-groupe station- 
naire, l'application naturelle @: G/H — X est alors bijective et 
continue. Si G et X sont localement compacts !), @ est alors un 
homéomorphisme. 

Par conséquent, pour les groupes et les espaces localement com- 
pacts on a une bijection entre les G-espaces topologiques homogènes 
et les classes d'équivalence des sous-groupes fermés. 

Comme exemple de relation entre les propriétés topologiques 
et les propriétés de groupes, citons le fait suivant. 


Problème 1. Soit Gun groupe topologique connexe, T son sous-groupe 
invariant discret. Alors l'est inclus dans le centre de G. 
Indication. Considérer l'application de G dans l: gr+> gyg”!l, où 


ver. 


Chaque groupe topologique peut être transformé en un espace 
homogène de deux manières différentes. À savoir, on peut considérer 
deux points x et y V-proches, où ŸV est un voisinage de l’unité, 
si xy 1 € V (premier procédé), ou si æ”ly € V (deuxième procédé). 
Pour le premier procédé, l’opération de translation à droite sera 
uniformément continue, mais celle à gauche et le passage à l'élément 
inverse, en général, ne le sont pas. Pour le deuxième procédé, ce 
sont les translations à gauche qui sont uniformément continues, 
tandis qu’en général les translations à droite et le passage à l’élément 
inverse ne le sont plus. 

Il est naturel d'essayer de compléter ces deux espaces homogènes 
et d’essayer de les munir d’une structure de groupe topologique. 
I] est évident que c’est possible si la condition suivante est satisfaite : 

pour chaque filet fondamental {x, }oe A | 4) 


le filet {rol}ccea est également fondamental. 


1) Un espace topologique s'appelle localement compact, si chaque son 
point possède un voisinage à adhérence compacte. 
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Il se trouve que si cette condition est vérifiée, les deux complétés 
sont effectivement des groupes topologiques et sont de plus isomor- 
phes. 

En particulier, la condition (1) est satisfaite pour tous les groupes 
commutatifs. 

Exemple 1. Soit Q le groupe additif des nombres rationnels, 
avec la topologie induite par la métrique usuelle : 


O (Zi, Le) = 21 — Lo |. 


Le complété de Q est alors isomorphe à R. 

Exemple 2. Munissons ce même groupe Q d’une autre métri- 
que. Soit p un nombre premier. Chaque nombre rationnel peut 
s’écrire sous la forme x — pm/n, où les entiers m et n sont premiers 
avec p. Posons p, (x, y) = p'#, si x — y = p*m/n. 

Le complété de Q par rapport à cette métrique est appelé groupe 
des nombres p-adiques et désigné par Q,. (En fait Q,est même un 
corps; voir $ 3.) 

Le complété du sous-groupe Z & Q pour cette métrique (qui 
coïncide, bien entendu, avec l’adhérence de Z dans Q,) est appelé 
groupe des nombres entiers p-adiques et désigné par O,. 


Problème 2. Démontrer que le groupe O, est compact et homéomorphe 
à l’ensemble de Cantor. 


Indication. Vérilier que chaque élément de O, s'écrit d'une 
O0 
manière univoque sous la forme de somme infinie D 'aupt, où 0 <L'ag < 
R=0 
< p — 1, et que la convergence dans O, coïncide avec la convergence par coor- 
données de la suite {az}. 


Pour conclure un autre exemple important de construction du 
complété. Soit G un groupe infini. Prenons comme base de voisinages 
de l’unité tous les sous-groupes d’indexes finis de G. Supposons 
que la topologie ainsi obtenue soit séparée. La condition (1) dans 


ce cas est satisfaite et le complété G du groupe G s'avère un groupe 


topologique compact. De tels groupes s'appellent profinis. (Ils sont 
les limites projectives de groupes finis.) 


Problème 3. SiG=—7Z, alors 6 = [[ 0. 


D 
Indication. Si la suite {n,} est fondamentale dans la topologie con- 
sidérée, alors elle est fondamentale dans n'importe laquelle des métriques p, 


définies plus haut, et inversement. Ceci permet de définir une inclusion de G 
dans [Î O,. Le fait que cette inclusion est un épimorphisme découle du « théorè- 


p 
me des restes chinois »: il existe un entier relatif qui possède pour toute famille 
finie de diviseurs premiers deux à deux des restes donnés. 


Problème 4 Démontrer que le groupe G du problème 3 peut égale- 
ment être obtenu comme limite projective de la famille des groupes G,, iso- 


3—-0361 
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morphes à Z, les indices étant ordonnés par la relation de divisibilité (cf. le 
problème 2 de 1.2) et l'application de G, dans G,, consistant à multiplier par n/m. 


Pour la démonstration des faits exposés ci-dessus ainsi que pour 
des renseignements ultérieurs sur les groupes topologiques voir les 
livres de L. Pontriaguine [46] et de N. Bourbaki [51. 
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Pour la démonstration des faits cités dans ce paragraphe, ainsi que pour des 
données supplémentaires voir le manuel de S. Lang [41] ou le traité de N. Bour- 


baki [6]. 


3.1. Anneaux. On appelle anneau un ensemble À muni de deux. 
opérations : l'addition par rapport à laquelle Æ est un groupe abélien, 
et la multiplication, liée à l’addition par la loi de distributivité: 


z(y + z) = xy + xz, (x + y) z = xz + yz. 


On considère généralement des anneaux associatifs, qui satisfont 
à la condition (xy) z — x (yz). Dans ce livre, le terme « anneau » 
signifiera toujours « anneau associatif ». 

L'anneau Æ s'appelle commutatif si xy = yx pour tous les 
x, y € À. 

Le sous-groupe Æ'" & K s’appelle sous-anneau (respectivement 
idéal à gauche, à droite ou bilatère), si xy € K” pour tous les x € K, 
y E K' (respectivement pour tous les x € À, y € K”; pour tous les 
xCK',yEK; si l’un des éléments x, y se trouve dans X”). 

Si X' est un idéal bilatère, alors le groupe quotient ÆX/X' se 
trouve naturellement muni d’une multiplication (les classes x + X” 
et y + X” ont évidemment pour produit la classe xy + K”). L'anneau 
ainsi construit s'appelle anneau quotient. 

Citons quelques exemples d’anneaux que l’on rencontrera souvent 
dans la suite: 

L'anneau Z des entiers relatifs. 

L'’anneau Z, des restes modulo n (l’anneau quotient de Z par 
l’idéal formé de tous les multiples de n). 

L'’anneau X [t] des polynômes de la variable & à coefficients 


dans un certain anneau X. 
L'anneau Mat, (X) des matrices d'ordre » à cocïticients dans 


un anneau À. 

Problème 1. Soit X un anneau fini de p éléments où p est un nombre 
premier. Démontrer que ou X est isomorphe à l’anneau des restes modulo p, 
ou bien le produit de deux éléments quelconques de Æ est nul. 

On appelle unité d'un anneau tout élément de celui-ci pour 
lequel la multiplication (de n'importe quel côté) est la transforma- 
tion identique. 
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Chaque anneau Æ peut être inclus dans un anneau X, unitaire 
(avec unité 1) de sorte que X, soit engendré par 1 et X ; l’anneau 
K, se définit par cette propriété d’une manière unique, à isomor- 
phisme près. 

L'opération du passage de XÀ à X, s'appelle adjonction de l'unité. 


Problème 2. Démontrer que si l'anneau X contenait déjà une unité, 
l’anneau X, est alors isomorphe à la somme directe ÆÀ @ Z. 

Indication. Soit e l'unité de X. Chaque élément de X, peut s’écrire 
sous la forme n (1—e)+z,oùxE€K,nEez. 


Le radical R(K) d’un anneau XÆ est une caractéristique impor- 
tante de celui-ci. Dans un anneau XÆ unitaire le radical R (K) peut 
être défini par l’une des deux manières équivalentes ci-dessous : 

1) R (K) est l’intersection de tous les idéaux maximaux à gauche 
de X, différents de K; 

2) R (K) est l'intersection de tous les idéaux maximaux à droite 
de X, différents de K'; 

3) R(K) se compose des éléments x € K tels que les éléments 
1 + axb sont inversibles quels que soient a, bE K. 

On peut démontrer que R(K) est un idéal bilatère de X. Dans 
un anneau quelconque on peut définir le radical en posant 


R(&) = R (Xi), 
où Æ, est l’anneau obtenu par adjonction de l’unité à l’anneau Æ 


(en fait R (K,) sera toujours contenu dans X). 
L’'anneau X s’appelle semi-simple si R(K) — {0}, et radical 


si R(K) = K. 


Problème 3. L’anneau X/R (K) est semi-simple. 
Problème 4. L'anneau Mat, (X) est semi-simple où X est un corps. 


Problème 5. Le sous-anneau T, (À) Mat, (X), composé de toutes 
les matrices triangulaires supérieures (c'est-à-dire des matrices || a;; || telles 
que a;; — 0 pour i > j), a pour radical l’anneau ST, (X) des matrices stricte- 
ment triangulaires (c’est-à-dire des matrices || a;; || telles que a;; — 0 pour i>j). 


Soit À un groupe abélien. L’anneau X s'appelle A-gradué si 
en tant que groupe, il représente une somme directe de groupes 
Ka, « E À, tels que X%.-KP € KC*B (c'est-à-dire le produit d'un 
élément de X% par un élément de XP appartient à Xt*). Un anneau 
Z-gradué s’appelle simplement anneau gradué. 

Si dans un anneau Æ, on a une famille croissante (respectivement 
décroissante) de sous-groupes K; tels que X;K; € K;:;, on dit 
alors que l'anneau Æ est muni d’une filtration croissante (respective- 
ment décroissante). 

Il existe un foncteur naturel de la catégorie des anneaux filtrés 
(les morphismes étant les homomorphismes d’anneaux qui conservent 
la filtration), dans la catégorie des anneaux gradués (les morphismes 


3% 
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étant les homomorphismes d’anneaux qui conservent la graduation). 
Ce foncteur est désigné par gr et se construit de la manière suivante. 
Soit {K;} une filtration croissante, par exemple. Posons 
gr K=K;/K;- 
et 
grK— @gr'K (somme directe de groupes abéliens). 
? 


La structure d’anneau gradué dans gr À sera entièrement définie 
si l’on sait multiplier un élément x E gr'X par un élément yE€ 
€ gr’ X. Soit x un représentant de la classe x dans K;, y celui de 
la classe y dans K;. Alors xy est la classe dans gr‘*’ X contenant 
l'élément “A/] € Ke 

Nous laissons au lecteur le soin de vérifier immédiatement le 
fait que cette définition est correcte. 


Problème 6. Soit À — Z l'anneau des entiers relatifs, Æ; le sous- 
anneau des multiples de m°, où m» est un nombre fixe. Démontrer que gr X est 
isomorphe à l'anneau Z,, [t] avec graduation naturelle par puissances de £. 


On appelle anneau topologique tout anneau ÆÀ muni d’une topolo- 
gie telle que Æ est un groupe topologique par rapport à l’addition, 
l'opération de multiplication étant continue comme fonction de deux 
variables. Chaque anneau topologique admet un complété. L'exemple 
le plus important de cette construction est le complété dit Z-adique. 
Soit Z un idéal bilatère dans X. Prenons pour base de voisinages de 
0 l’ensemble {7°} des puissances de l'idéal Z. Si N 1" = {0}, cette 


n 
topologie est alors séparée. On l’appelle fopologie IT-adique et le 
complété de À dans cette topologie complété I-adique. 
Exemple. Si K = Zet 1 = mZ, alors le complété Z-adique 
est l’anneau Z (m) appelé anneau des nombres entiers m-adiques. 


Problème 7. Soient ps, ps, . .., p, les diviseurs simples de m. 
Démontrer que l’anneau des entiers m-adiques est isomorphe à la somme directe 
d’anneaux des entiers p-adiques pour p = pa, - -., pr: Z(m) = PO, 

i i 


Problème 8. Démontrer que dans le système décimal il existe exacte- 
ment quatre « nombres décimaux infinis » 


. . +0 000 000, . . .2 890 625, . . .7 109 376 et . . .0 000 001 


Re la propriété suivante: si les k derniers chiffres du nombre NW sont 
es mêmes que ceux d’un de ces 4 nombres, alors une puissance quelconque du 


nombre N se termine par les mêmes k chiffres. 
Indication. Utilisez le résultat du problème 7: Z (10) = O0, @ 


O5, et du fait que l’anneau des entiers p-adiques ne contient pas de diviseurs 
e 


3.2. Corps. On appelle corps (topologique) tout ensemble Æ où 
l’on peut effectuer les 4 opérations arithmétiques, de sorte que: 
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1) par rapport à l'addition et à la multiplication X est un anneau 
(topologique), 

2) la fonction x > x-lest définie (et continue) partout, sauÎ 
au point (0. 

Un corps avec une multiplication commutative s'appelle corps 
commutatif, mais nous omettrons généralement le terme commuta- 
tif. Il est connu que chaque corps fini est commutatif. Nous suppo- 
sons que le lecteur connaisse bien 

le corps Q des nombres rationnels, 

le corps R des nombres réels, 

le corps C des nombres complexes. 

En outre de ces corps fondamentaux, nous définirons ici des 
corps suivants que nous utiliserons largement dans la suite: 

le corps H des quaternions, 

le corps Q, des nombres p-adiques, 

le corps F, composé d’un nombre fini de g éléments, 

le corps K, des séries formelles à coefficients dans Fo 

Il est aisé de définir le corps H comme le corps des matrices 
complexes de la forme 

X y 
”- :): 


ou des matrices réelles de la forme 
a D C d 
—b a —d C 
—c d a —b 
—d —c b a 
Le corps Q, s'obtient de l'extension algébrique Q" du corps Q 
(de tels corps s'appellent numériques) en complétant dans la topo- 
logie p-adique, où p est un certain idéal simple dans l'anneau 7° 
des entiers du corps Q’. Ce même corps peut être obtenu par exten- 
sion algébrique du corps Q, des nombres p-adiques, où p est le 
nombre premier unique appartenant à l'idéal p. 


Le corps F, se définit entièrement par le nombre g, qui doit 
être une puissance d’un nombre premier: qg — p”". Dans le cas où 
n = À et 9 — p, on obtient le corps Z, des restes modulo p. Dans 
le cas général, F,, étant l’extension algébrique du corps des restes, 
peut être réalisé par des matrices d'ordre nr à éléments dans Z,. 
Par exemple, F, se compose des matrices 

1 0 1 1 0 :) 0 O0 
0 1/° \10/” \1 1/” Lo 0 


à coefficients dans Z:. 
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O0 
Le corps K, est formé des séries formelles à at*, ap EF 
—A0 


avec les opérations arithmétiques usuelles. 


Pour un exposé plus détaillé sur les corps ci-dessus voir, par exemple, le 
livre de Z. I. Borevitch et I. R. Chafarevitch [4]. 

On sait bien que seuls les corps Q,,, K,, R, C, H représentent les corps loca- 
lement compacts non discrets. La démonstration de ce fait figure, par exemple, 
dans le livre de L. S. Pontriaguine [46]. 

La dualité des groupes additifs de tous les corps ci-dessus (dualité de Pon- 
triaguine (voir $ 12)) joue un rôle fondamental dans la théorie des représentations. 


3.3. Modules sur anneaux. Le groupe abélien 7 s'appelle module 
gauche sur l’anneau K, ou, plus brièvement, K-module à gauche, 
si l'opération de multiplication des éléments de XÀ à gauche par 
les éléments de M est telle que l’on a les conditions naturelles: 


À (x + y) = x + y, (À + u) x = Ar + ur, (Qu) x = À (ux), 


où À, EEK et x, y EM. 

Si l'anneau Æ contient une unité 1, on stipule généralement 
la condition supplémentaire 1x = x. 

On définit d'une manière analogue les Æ-modules à droite et les 
K-modules bilatères. Si l'anneau Æ est commutatif, chaque X-module 
à gauche se munit naturellement d’une structure de Æ-module 
à droite et de X-module bilatère. 

Un sous-groupe N & M, stable par rapport à la multiplication 
par les éléments de X, s'appelle sous-module. Le groupe quotient 
M/N dans ce cas est également un ÆX-module et s'appelle module 
quotient. L'ensemble de tous les X-modules à gauche (respectivement 
à droite, bilatères) forme une catégorie, dont les morphismes sont 
les homomorphismes de groupes permutables à la multiplication 
à gauche (respectivement à droite et de deux côtés) par les éléments 
de X. Nous appelerons ces morphismes applications linéaires ou 
K-applications, et désignerons par Homx (M, N) l’ensemble de 
tous les Æ-applications de M dans N. Au lieu de Homx (M, M) 
on écrit également Endx M. On omet l'indice Æ s’il n’y a pas risque 
de confusion. Il existe, dans la catégorie des Æ-modules, la somme, 
le produit, les limites inductives et projectives d’une famille quel- 
conque d'objets. 

Pour une famille finie de Æ-modules M,, ..., M,, les opéra- 
tions de somme et de produit donnent le même module , formé 
de tous les n-séries (x,, . .., x,), x; € M;. Nous laissons au lecteur 
le soin d'introduire dans M une structure naturelle de X-module 
et de construire les applications i: M, — M et p;: M — M, 
telles que (M, {iz}) sera la somme, et (M, {p:}) le produit des 
modules M,, ..., M;. 
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Remarquons qu’un anneau À peut être considéré comme un 
module à gauche, à droite et bilatère sur soi-même. La somme 
directe de nr modules ÆÀ s’appelle X-module libre de rang n. 


Problème 1. Soit À un anneau unitaire et M un Â-module droit 
libre de rang nr. L’anneau End, M est alors isomorphe à l'anneau Mat, (X). 
Indication. Considéies d’abord le cas n = 1. 


Un X-module M (à gauche, à droite ou bilatère) s’appelle simple, 
s’il ne contient pas de sous-modules différents de {0} et de MZ. 


Problème 2. Démontrer qu'un élément x € K appartient à R (K) 
si et seulement si on a M — {0} pour un module M à gauche simple quelconque. 

Indication. Sim est un élément d'un module à gauche simple M, 
alors l’ensemble de tous les x € X, tels que xm = 0, est un idéal à gauche maxi- 
mal dans K 


Théorème de Jordan-Gôlder. Si le module M est 
muni d'une famille croissante de sous-modules {0} = M, c M, &... 

.C M, = M, tels que tous les modules quotients N; — M;,/M;-;, 
i = 1,..., n sont simples, alors les classes d'équivalence des modules 
N;, Ns, ..., N, sont définies uniquement (à ordre près) par la 
classe d'équivalence du module M et ne dépendent pas du choix de la 
famille {M}. 

La démonstration de ce fait découle facilement du lemme de 
Shur (voir $ 7). 

Soit M un K-module droit et V un X-module gauche. On peut 
alors définir le produit tensoriel sur K des modules M et N; on le 
note M @ N. Pour cela, considérons le groupe abélien M [] N 


K 
engendré par les symboles de la forme mOn, oùmE€M,nEenN. 
Désignons par MO N le sous-groupe de M [] N engendré par 
les éléments de la forme 


a) (u+m)0On-mOn—-m On, 
bDmO(u+n)-mOm-mOr, 
c) mA []n — mÇ[] An, 


où m, M, Mo EM, n, Ni, n EN, 1EKX. 
Posons M @ N—M TO N/M QC N. L'image de l’élémentm [ne 


CMOCN dans M on s'écrit généralement m o n ou simplement m@n. 


Notons que le roi tensoriel de deux OU Le est un groupe 
abélien dépourvu de toute structure naturelle de X-module. Néan- 
moins, si le module 7 (respectivement V) est muni d’une structure 
de L-module à gauche (respectivement à droite), alors le produit 
tensoriel s'avère muni de cette même structure. En particulier, 
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si À est un anneau commutatif, alors M et V sont des Æ-modules 
bilatères, et par conséquent M @ N est un ÆX-module bilatère. 
K 


Exemple. Chaque groupe peut être considéré comme un 
Z-module, en posant nx=x+x+...+x (n termes) pour nr >0 
et x — —(—nx) pour n < (0. 


Problème 3. Calculer le produit tensoriel des groupes Z,, et Z,, 
considérés comme Z-modules. 

Réponse. Zm,n) Où (m, n) est le P.P.C.D. des nombres m et n. 

On peut également donner une définition du produit tensoriel 
en se servant de la notion d’objet universel. Supposons, pour simpli- 
fier, que À soit un anneau commutatii et M,, ..., M, est une 
famille de Æ-modules. Considérons la catégorie dont les objets 
sont les applications linéaires (c’est-à-dire linéaires par rapport 
à chaque argument) M, X ... x M, (produit d’ensembles) dans 
un À-module M quelconque (propre à chaque objet). Les morphismes 
sont les diagrammes commutatifs 


74 
M X CE RD X M, 4 ? 

NY 
où y et p’ sont des applications linéaires et Ÿ est une application 


linéaire de M dans M'. L'objet terminal universel dans cette catégorie 
s'appelle produit tensoriel sur K des modules W,, ..., WM,. 


Problème 4. Vérifier que cette définition (pour n = 2) est équivalen- 
te à la définition donnée plus haut. 
Indication. Considérer l’application linéaire de M, X M, dans 


M: Ma: (ty To) © dy © Lo. 


Soit À un anneau commutatif et M un Æ-module. L’ensemble 
M# = Homx (M, K) se munit naturellement d’une structure de 
K-module et s'appelle module dual au module W. 

L'application M M* est un foncteur contravariant dans la 
catégorie des Æ-modules. 


Problème 5. Soient M et N des modules libres de rang fini. Vérifier 
s’il existe des isomorphismes naturels: 


(M*)* = M, Homx (M, N) = Homx (N*, M*)=M*@ON, 
K 
(M @ NN} &M*@ N*. 
K K 
3.4. Espaces vectoriels. Si À est un corps, alors le X-module M 


s'appelle espace linéaire ou espace vectoriel sur K, et ses éléments 
s'appellent vecteurs. 
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Dans le cas où K est un corps non commutatif on emploie parfois 
le terme « espace linéaire à gauche (à droite) sur Æ » au lieu de 
« K-module à gauche (à droite) ». 

Chaque module M sur un corps Æ est libre, autrement dit chaque 
espace vectoriel possède une base. 

On peut montrer également que chaque base de l’espace M 
est de la même cardinalité appelée dimension de M et désignée 
par dim; M, ou simplement dim M, s’il est clair de quel Æ il 
s'agit. 

Si M et N sont des espaces vectoriels sur Æ, les éléments de 
l'espace Homx (M, N) s'appellent opérateurs linéaires de M dans 
N. Soient {x,}, {ys} des bases de M et N respectivement. Chaque 
opérateur linéaire À de M dans N détermine uniquement la matrice 


IKZTAIE 
ATo = 2 AasTs. (1) 


Inversement, une matrice quelconque || a, || dont chaque ligne 
ne contient qu'un nombre fini d'éléments non nuls, détermine 
par la formule (1) un opérateur linéaire de M dans N. 


Problème 1. Démontrer que dim Homkg (M, N)—dim M dim W, 
si les deux facteurs du membre droit sont finis. 


Soit À un opérateur dans un espace M de dimension finie sur 
le corps À. On appelle trace de À l’élément tr À € K, qui est l’image 
de À par la composée des applications 


Homx (M, M) + M*@MK, 
K 


où œ est l’isomorphisme naturel et 1 l’opérateur linéaire, correspon- 
dant à l’application bilinéaire de M* X M dans K:(m*, m)- 
> m* (m). 


Problème 2. Démontrer que tr À est égal à la somme des éléments 
de la diagonale de la matrice de l’opérateur À dans une base quelconque. 

Problème 3 SiA:. M —NetB:N — M sont des opérateurs linéai- 
res dans des espaces à dimension finie, alors tr AB = tr BA. 


Les opérations de somme directe et de produit tensoriel de deux 
espaces nous amènent aux notions de somme directe et de produit 
tensoriel de deux opérateurs. Soient À, € Homx (M,, N,), A € 
€ Homx (M,, N;). À, ® À, désigne alors l’opérateur de M, ® M, 
dans N, ® NW, donné par la formule 


A1 ® A: (21, do) > (Ait, Aoto), 
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et À, © À, est l'opérateur de M, @ M, dans N, @ N, donné 
par la formule 


A1 © A2 21 @ 22 At © Apt. 


On vérifie que, dans des bases appropriées, la matrice de l’opéra- 
teur À, ® À, est de la forme 


a 0 
0 a 2) 


où |[aŸ || et || a || sont les matrices des opérateurs À, et A4. 
La matrice de l'opérateur À, @ À,, dans une base appropriée, 
possède la propriété suivante acy:p6 = aop-aÿ8 et se met sous forme 


de matrice à blocs: 


? 


1)1 2 1) 2 2) (1 2) (1 
aa)... a{Datt) affa)... aan) 
Se ar eo . ou Sr dr NS. à 

1) (2) LC 2) (1 2) AU 
a(at2) ,.. alla) afé)at) ,., af) at) 


Problème 4. Démontrer, dans le cas de dimension finie, les égalités 
tr (41 ® A2) = tr Ay+ tr Ao, tr (41 © A0) = tr Ay°tr A0 


3.9. Algèbres. Si l’ensemble À est muni d’une structure d’anneau 
et d’une structure d'espace vectoriel sur le corps Æ, de sorte que le 
produit dépend linéairement des facteurs, alors on dit que À est une 
algèbre sur K, ou, plus brièvement, une X-algèbre. 

L'ensemble de toutes les X-algèbres forme une catégorie, dont 
les morphismes sont des homomorphismes d’algèbres (c’est-à-dire 
des homomorphismes linéaires d’anneaux). En plus de la somme 
et du produit d’une famille quelconque d'objets, il existe, dans la 
catégorie des Æ-algèbres, le produit tensoriel d’un nombre fini 
d'objets. 

Si À,,..., À, sont des K-algèbres, leur produit tensoriel est 
l’espace linéaire À, @ ... @ À, (produit sur Æ) muni de la loi 
de multiplication suivante: 


(ts D... © tn) (us ® . . . © Yn) = LiYn ® . . + © TnUn-. 


Problème 1. Si chacune des algèbres 4,, ..., A, est isomorphe à 
l’algèbre X [t], leur produit tensoriel est isomorphe à l'algèbre X [t,, . .., t,] 
des polynômes de nr variables à coefficients dans X. 

Problème 2. Démontrer les relations 


C@C=CHC, C@H— Mat: (C), H@QH— Mat, (R). 
R R R 


Problème 3. Soit À une X-algèbre quelconque. Alors, 
A @ Math (X) = Mat, (4). 
K 


Corollaire : Mat, (X) @ Mat,, (X) = Mat,,h (X). 
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Considérons la catégorie des X-algèbres à n générateurs distingués 
{les morphismes sont les homomorphismes d’algèbres qui envoient 
les générateurs distingués dans des générateurs correspondants). 
Cette catégorie possède un objet universel initial que l’on appelle 
algèbre libre à n générateurs Æ (n, K). 


LR 


Problème 4. Soient #,, t,, ..., tn les générateurs de Æ (n, X). 
Démontrer qu'une base de l’espace vectoriel # (n, X) est composée de tous les 
« mots » f; ot, compris le « mot vide », que nous désignerons par 1. 


pu 

I1 est évident que si l’on désigne par Z'(n, K) le sous-espace 
engendré par tous les «mots» de longueur !, Z(n, Æ) devient une 
algèbre graduée. 

L'algèbre Z (n, K) admet une autre interprétation utile. Notons 
Œ\{(n, K)par V. Alors #!(n, K) s’identifie naturellement avec 
le produit tensoriel Y @ V @ ... @ V (I facteurs). Par conséquent 
l'algèbre Z (n, K) est appelée également algèbre tensorielle sur V 


et désignée par T (V) — @ T!' (V). Les éléments de 7° (V) s'appellent 
1=0 


tenseurs contravariants de rang ! sur V. 

Soit V* l’espace dual à V. Les éléments des espaces T (V) @ 
@ T (V*) s'appellent tenseurs mixtes. Plus exactement, on appelle 
tenseur mixte de rang (k, 1) (ou tenseur k-contravariant et l-covariant) 
tout élément de T* (V) @ T! (V*). Les résultats du problème 5 de 
3.3 montrent que cette définition équivaut à la définition classique 
du tenseur de rang (k, !) en tant que fonction linéaire de k vecteurs 
de V* et de Z vecteurs de Y. 

Nous dirons qu’un tenseur de 7* (V) est symétrique (respective- 
ment antisymétrique), si la fonction linéaire qu'il définit sur V* 
ne change pas (respectivement change de signe) pour chaque permuta- 
tion de deux arguments quelconques. 

L'ensemble des tenseurs symétriques (respectivement antisymé- 


triques), s'écrit S (V) — D S*(V) (respectivement  /\ (V) — 
k=0 


= @ A" (P)). 
Rk=0 


Problème 5. Soit Z (respectivement J) un idéal bilatère de T (V) 
engendré par les éléments de la forme zy — yx, x, y € V (respectivement par les 
éléments de la forme z?, x € V). Démontrer que 


TM=SMEI=AMEAT 
(somme directe d'espaces vectoriels). 


Le résultat de ce problème permet d'identifier S (V) à T' (V)/I, 


et À\ (V) à T (V)/J et de munir donc S (V) et /\ (V) d’une structure 
d’algèbre sur X. L'algèbre S (V) s'appelle algèbre symétrique sur V. 


44 PREMIÈRE PARTIE. NOTIONS PRÉLIMINAIRES 


Elle est commutative et isomorphe à l'algèbre des polynômes de 
n variables (nr — dim V). L'’algèbre /\ (V) s'appelle algèbre exté- 
rieure ou algèbre de Grassman sur V. 

L'opération de multiplication dans /\ (V) s'écrit généralement 
x /\ y et s'appelle produit extérieur. 


Problème 6. Démontrer que dim AÀ (V) — c?, où nr —dim V ct 


hs n! = ‘ ‘ 
Ch ETAT mA) sont les cocfficients binominaux. 
Indication. Siz,, ..., x, est une base dans V, une base dans À (V) 
est formée par les éléments z;, A ... A Ti,» D Lee: ie 


Soit Q une forme quadratique sur V (c’est-à-dire Q (x) = B (x, x), 
où B est une forme bilinéaire). On appelle algèbre de Clifford l'algèbre 
quotient C (V, Q) = T(V)/Jo, où JQ est l'idéal bilatère engendré 
par les éléments de la forme x? — Q (x) ‘1, x € V. 

Les structures d’algèbres de Clifford et de leurs modules sont 
largement utilisées en théorie des représentations et en topologie 
algébrique. Les problèmes suivants donnent une description de 
ces algèbres dans le cas particulier fondamental X = K. 

Dans un système de coordonnées approprié, la forme Q s'écrit: 
Q(x)=mi +... Hifi, —...—25,, p+g<n=dim. 
Désignons par C'(p, q, r), où r = n — p — q l'algèbre correspon- 

dante C (V, 

Problème 7. Démontrer que le radical de l'algèbre C (p, q, r) est 

engendré (comme idéal) par les éléments de base Tp+qHr + ++ En €t que l’al- 


gèbre quotient de C (p, q, r) est isomorphe par rapport à son radical à C (p, q, 0). 
Problème 8. Etablir les isomorphismes 


C(1,1,0 @SC(P,g1n=C(ip+1, g+i,r), 
C(2,0,0) @Cp,gr) =C(g+2, p,r), 
C(0,2,0)@ Cp, gr) =C(g p +2, r). 
Indication. Soient x, æ, e y, des bases canoniques dans 
V, et V,. Considérer dans C (V;, @:) . € (Ve, @>) l’ensemble des éléments 
ty © À, za © À, Tito © Vs + + +) Tite © Yn- 
Problème 9. Démontrer les relations 
C (2,0,0) = C (1,1, 0) = Mat, (R), 
C(0,2,0) =H, C(1,0,0) =RGER, C(0,1,0) — 


Ainsi, pour des formes non dégénérées Q, les algèbres de Clifford 
sont donc des algèbres de matrices sur R, C ou H, ou des sommes 
de telles algèbres. Ce fait illustre le résultat général suivant. 

Théorème 1. Toute algèbre semi-simple À à dimension finie 
est la somme directe d'algèbres simples (c’est-à-dire d’algèbres qui 
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n’ont pas d’idéaux bilatères différents de 0 et de l'algèbre tout 
entière). Chaque K-algèbre simple à dimension finie est isomorphe 
à Mat, (D), où D est un corps de dimension finie sur K. 

On a également 

Théorème 2. Chaque module de dimension finie sur une 
algèbre semi-simple À est la somme directe de sous-modules simples. 
Il n'existe qu'un nombre fini (égal à 1 pour une algèbre simple) de 
classes d'équivalence de AÀ-modules simples. 

On obtient une algèbre de dimension infinie très intéressante, 
en prenant au lieu de la forme quadratique Q une forme bilinéaire 
antisymétrique B et en considérant l'algèbre quotient de T (V) 
par rapport à l'idéal engendré par les éléments de la forme 


rOy—y@z—B(x, y)1, x, yE V. 
Il est bien connu que, dans une base convenablement choisie p,, ... 
y Pns Do + + + » Ans lis + - +, Tr, la forme B se ramène à la forme 


B (pi, q;) = Gi, 
B (pi, Pi) = B (gi, Q;j) — B (p:;, r'j) = B (q:, r'j) — B (r;, r';) — 0: 
Désignerons l'algèbre correspondante par R,, x (K). 


Problème 10. Démontrer la relation 
Rs, ki (&) © Re, ko (&) =Ryi4no, ki+ho (Æ). 
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4.1. Espaces vectoriels topologiques. Un espace vectoriel Z sur 
un corps topologique K s'appelle espace vectoriel topologique (EVT) si 

1) L est un groupe topologique par rapport à l’opération d’addi- 
tion ; 

2) l'application À X L—- L: (À, x) — Àx est continue (comme 
fonction de deux variables). 

Les espaces vectoriels topologiques sur un corps ÆÀ forment une 
catégorie, dont les morphismes sont les applications linéaires conti- 
nues. On peut définir dans cette catégorie sommes, produits, limites 
projectives et inductives. 


Rappelons que pour un nombre fini d'espaces, les opérations de somme 
et de produit coïncident dans le sens suivant. 

Problème 1. Soit {L,}, k — 1, ..., n, une famille finie de EVT, 
(L, i) leur somme ct (M, p,) leur produit. Démontrer qu’il existe un isomor- 
phisme t: L — M tel que 


| 0, si k £ I, 
Pro toi= À 


si k—l. 
Indication. Démontrer que pour ZL et M on peut prendre la réunion 


de toutes les collections (x, . .., x,), x; € L; avec la structure naturelle de 
EVT. 
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La catégorie EVT sur les corps R et C fait l’objet de l’analyse 
fonctionnelle classique (linéaire). 

Presque tous les EVT que l’on rencontre dans les applications 
sont des espaces localement convexes (E LC). Cela veut dire qu'ils 
possèdent une base de voisinages de 0, composée d’ensembles con- 
vexes. Les espaces localement convexes possèdent toute une série 
de propriétés remarquables, dont la plus importante est l'existence 
d’un ensemble suffissamment varié de formes linéaires continues. 
Si L est un ELC et x un vecteur non nul de Z,, alors il existe une 
forme linéaire continue f sur ZL telle que f(x) = 0. 

Par conséquent, chaque £ZLC peut être inclus dans l’espace 
des coordonnées Æ%, où « est un cardinal suffisamment grand. 

Il est commode de se donner une topologie dans un ELC à l’aide 
d’une famille de semi-normes. Une fonction à valeurs réelles p 
sur un Æ£VT s'appelle semi-norme, si elle possède les propriétés 
suivantes : | 


1) p (x) > 0, 
2) p(z + y) <p (x) + p(), 
3) p (x) = IX ]p (a). 
Si l’on y ajoute la condition 
4) p (x) = 0 seulement si x = 0, 


p est alors appelée norme. La norme d’un vecteur x est souvent 
désignée par || x ||. 

Problème 2. Le filet {4 }=A dans un ELC converge vers x si, et 
seulement si, pour chaque semi-norme continue p, le filet réel {p (x, —x)}æA 
converge à 0. 


Indication. Soit U un voisinage convexe de 0 dans L. On appelle 
forme de Minkovski de ce voisinage la fonction 


z)= inf {|A}. 
Py (&) a | 
Démontrer que py est une semi-norme continue sur Z. 


Une famille de semi-normes {ps}s=s s'appelle définissante s'il 
suffit de vérifier la condition du problème 2 uniquement pour. les 
semi-normes de cette famille. Un EZLC L s'appelle normant (dénom- 
brablement normant), s’il existe une famille finie (dénombrable) 
de semi-normes définissantes. (Une famille finie de semi-normes 
peut être remplacée par une seule semi-norme — leur somme.) 

Une famille quelconque de semi-normes {ps}g8e s dans un espace 
vectoriel Z est une famille définissante pour une certaine topologie 
transformant ZL en ELC. 

En général, nous allons considérer des espaces complets séparés. 
À chaque ELC L on associe canoniquement un E' LC séparé complet 


D 


L, que l'on peut obtenir à partir de L en factorisant par le sous- 
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espace Z,, (l'intersection de tous les voisinages de 0) et en complétant 
ensuite l’espace L/L,. 

Un ÆELC complet séparé s'appelle -espace de Banach. 

Un espace Z de Banach s’appelle espace hilbertien, si sa norme 
satisfait à la « condition du parallélogramme »: 


pe + y} + pe — y} = 2p (x) + 2p (y). (1) 
Problème 3. Déduire de (1) que l’expression 
@D= pH pet ipe— ip ty (2 


est linéaire par rapport à x, antilinéaire par rapport à y, continue comme fonc- 
tion de deux variables et possède la propriété suivante: (x, x) = p (x}°. 
Indication. Considérer les cas dim Z = 2 et dim Z = 3. 


Exemple 1. Soit C [—1, 1] l’ensemble des fonctions conti- 
nues sur le segment fermé [—1, 1]. Posons 


1 
h=[ field], 0<a<o, 
“1 


Po (f) = max | f (x) |. 


Problème 4. Démontrer que p, est une norme pour 1 < & < co. 
Indication. Utiliser l'inégalité (1 + y)* >14 + y®* pour y > 0, 
a > 1. 


Munissons C [—1, 1] de la topologie t, en choisissant pour base 
des voisinages de 0 les ensembles p, (f) < €, & > 0. 


Problème 5. Démontrer que l’espace C [—1, 1] est complet par rap- 
à la topologie T<, mais ne l’est pas pour la topologie Tu, 0LA< ©. 
Indi ca tion. Démontrer que la suite f, (x) — arctg (n, x) est fonda- 
mentale et n’a pas de limite dans C [—1, 1]. 


port 


Désignons par L”[—1, 1] le complété de C [—1, 1] dans la 
topologie T.. 

Problème 6. Démontrer que ZL?(—1,1) est un espace hilbertien. 

Problème7. Démontrer que pour 0 < a < {iln’y a pas, dans l’espa- 


ce L*[—1, 1], de formes linéaires continues non nulles. 
Indication. Chaque fonction f € C [—1, 1] peut être écrite sous 


forme d’une somme de 2N — 1 fonctions f1, . . ., f2nw-1 qui satisiont aux con- 
ditions 
il — HT 
|f:1 1/1, f;—0 en dehors du segment [+ eus 


Utiliser le fait que chaque forme continue F sur L® doit satisfaire à Sr 
1 


rH1<c (| Ha)" 


— 1 
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et, par conséquent, 
2N-—-1 1 


IFHI<C > (| far)" <C-MEN—1) @yNyUe. 
41] — 1 


Les exemples les plus importants des EVT se construisent à l’aide de la 
notion de mesure. Nous n’exposerons ici que quelques éléments de la théorie 
de la mesure et de l'intégration, renvoyant pour les détails aux manuels [40] 
et [11]. D'autres renseignements peuvent être obtenus dans les livres [28] et [7]. 

Soit X un ensemble et B une famille de ses sous-ensembles ; supposons 
que cette famille est fermée par rapport à l'opération de la réunion dénombrable, 
d’intersection et de passage au complément. Un tel système s'appelle o-algèbre. 
On dit qu'une mesure u est donnée sur (X, B) (ou simplement sur X, s’il n’y 
a pas de doutes dans le choix de B), si à chaque sous-ensemble £ € B correspond 
un nombre pu (E) tel que 


b(E UE) —n(E,) + u(E£) pour E, N E, = 2. 


Les ensembles £ € B s'appellent mesurables et un (E) leur mesure. La mesu- 
re u s'appelle o-additive, si 


n(Ù En) = S'u(Ex) si ENE;=gS pour i+)j 
1 R=1 


Nn—= 


(on suppose que la série dans le membre droit converge absolument). 

On admet souvent, en plus, que la mesure u ne prend que des valeurs réelles 
non négatives. Nous appellerons de telles mesures positives. On appelle variation 
de la mesure o-additive u la mesure positive | u | définie par la formule 


ju|(£E)=sup D, Iu(Ex)|, 
Rk=1 


où la borne supérieure se calcule sur toutes les décompositions de Æ dans une 
somme dénombrable de sous-ensembles disjoints mesurables Æ,. 

Chaque mesure u est de la forme u = li — Mo + ils — il OÙ Du, Mo 
M3, 4 Sont des mesures positives. Ces mesures peuvent être choisies de sorte 
à avoir les inégalités 


Vinl>m+hths+tmzlntk 
La mesure Lu s’appelle complète, si des conditions 


E, €EB, EE CB, EE CE CE,et | up |(EE1) = 0 


il découle que Æ € B. Chaque mesure o-additive se prolonge en une mesure 
‘complète. | 

Si une certaine condition est satisfaite pour tous les points x € XXE et 
[u](£)=—0, nous dirons que cette condition est satisfaite pour la mesure pu 
presque partout sur X. | 

Supposons que l’espace X soit la réunion d’une famille de sous-ensembles 
disjoints deux à deux X,, « € À. Si chaque X,, est muni d’une mesure u,, on 
peut alors définir une mesure dite localement finie n — >. u.. Par définition, 

œ 

le sous-ensemble E est considéré u-mesurable, si son intersection avec X, est 
u,-mesurable pour tout &. On appelle mesure de Æ la somme de la série 


> Ua (E N X,), si la série >. lu 1 (E Î X,) converge absolument. Sinon on 
œ œ 
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pose u (£) = o. Si la famille {X, } est dénombrable, on appelle la mesure pu 
de genre dénombrable. 


Parfois, on appelle les mesures localement finies tout simplement mesures, 
et les mesures dans le sens employé ici — mesures finies. 

Une fonction complexe f sur X s'appelle mesurable (on dit également u-mesu- 
rable ou B-mesurable) si pour tout ensemble ouvert U C C l’ensemble f-1 (U) C 
€ X est également mesurable. Appelons une fonction f simple si elle est mesu- 
rable et ne prend qu’un nombre dénombrable de valeurs À, ..., À, ... 

Soit u une mesure positive (pas nécessairement finie). Si la somme 


D Ann (F1 {Ar}) 
À 


converge absolument, alors sa valeur numérique est appelée intégrale de f pour 


la mesure u ct désignée par | f (x) du (x) ou plus brièvement | f du. 


Une fonction non négative mesurable j s’appelle u-intégrable, si l'ensemble 


de toutes les intégrales de la forme g (x) du (x) est majoré, où g est une fonc- 


ZX 
tion simple, inférieure ou égale à f. La borne supérieure de ces intégrales s’appelle 
intégrale de f pour la mesure u. Une fonction complexe mesurable f s'appelle 
intégrable pour la mesure u (non nécessairement positive), si la fonction | f | 


est intégrable pour la mesure | u |. L'intégrale | f (x) du (x) se détermine alors 


X 
uniquement par les conditions de linéarité relativement à f et à u, si l’on consi- 


dère que, pour des f et des u positifs, cette intégrale coïncide avec l'intégrale 
définie ci-dessus. 


L'ensemble de toutes les fonctions u-intégrables est un espace vectoriel ZL 
avec la semi-norme suivante 


lh= i@ dial. 
X 
Il est évident que l'intersection ZL, de tous les voisinages de 0 se compose 
de fonctions presque partout nulles. On sait que l’espace quotient Z/L, est com- 
plet par rapport à la norme correspondante. On le note L! (X, u). 
D'une manière analogue on définit l’espace LP (X, u), composé des classes 


de fonctions f, pour lesquelles l'intégrale de | f |? pour la mesure pu est finie. 
Pour 4 < p < % c’est un: espace de Banach avec la norme suivante: 


I f11= [ir a1u1@) Le 
À 


L'espace L® (X, u) se définit comme l’espace de Banach que l’ôn obtient 
en factorisant l’espace Z de toutes les fonctions bornées u-mesurables sur X avec 
la norme ||f || — sup |f(xz) | par le sous-espace fermé des fonctions presque 

xEeZX 


partout nulles. 

On dit qu’une mesure pu, est absolument continue pour la mesure u, (nota- 
tion: y —< UM), si chaque ensemble u,-mesurable est également u,-mesurable, 
et si de | no | (£) = 0 il découle pu, (£) = 0. Dans ce cas, il existe une fonction 


o u.-mesurable, telle que pour une fonction f u.,-intégrable quelconque, on a l’éga 
lité suivante 


Ê #62) duute)= | (0) p (2) due (or. (3) 
X x 
k—0361 
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La fonction p (x) est définie uniquement presque partout pour la mesure mu. 
On l’appelle dérivée de la mesure u, par la mesure u,, ct on la note du,/dp.. 
Si u, est finie, alors la fonction du,/du, est intégrable pour la mesure pu. 
Inversement, chaque fonction p u.-mesurable (respectivement intégrable) 
définit une certaine mesure u, (respectivement une mesure finie) par la formu- 


le (3). Cette mesure est notée pp. 
Si chacune des mesures u,, u, est absolument continue relativement à l’au- 


tre, alors ces mesures s’appellent équivalentes (notation: 3 — lo). 
Remarquons que chaque mesure o-finic est équivalente à une mesure finie. 


Pour des mesures équivalentes, les espaces LP? (X, u,) ct LP (X, u,) sont natu- 
rellement isomorphes : la multiplication par | du,/du, |!/P transforme le deuxiè- 
me espace dans le premier. Les mesures u, et u, s'appellent disjointes, si des 
conditions 1 > u et u > u il découle que u = 0. 

Soient X un espace localement compact ct X (X) l’espace des fonctions 
continues sur X à support compact. Munissons À (X) d’une topologie, en consi- 
dérant que le filet {f, } converge vers f si et seulement si toutes les j, et f sont 
nulles à l’extérieur d’un certain compact À © X, et f, converge uniformément 
vers f sur À. On sait que chaque forme linéaire continue sur X (X) est de la 


forme 


Fa(f= | 1 (a) du (2, G) 
x 
où u est une certaine mesure, définie sur tous les ensembles borélicens de X, ct 


jouissant de la propriété suivante: 
pour chaque ensemble mesurable Æ de mesure finie ct pour chaque & > 0 
il existe un compact X et un ouvert U telsqucK CE EUctlu](UNXK)<eE. 


De telles mesures s'appellent régulières. ” 
Inversement, chaque mesure régulière sur X définit par la formule (4) une 


forme linéaire continue sur Æ (X). 

On appelle support d’une mesure régulière u, l’ensemble fermé supp pu 
complémentaire à la réunion de tous les ensembles ouverts de mesure nulle. 

Pour chaque EVT L, nous noterons L” l’espace topologiquement 
adjoint de L composé de toutes les formes linéaires continues sur L. 
L' est évidemment un sous-espace dans l’espace algébriquement 
adjoint L*—Homx (L, K). Dans le cas de dimension finie, L’ 
et L* coïncident (si L est séparé). L'ensemble F € L s’appelle 
borné, si pour tout voisinage U de 0, il existe un nombre 1 € K 
tel que E & AU. Si L est un ELC, alors cette condition équivaut 
à la condition d’être faiblement borné, ce qui veut dire que f (Æ) 
est borné pour chaque f € L’. 

L'espace L’ peut être muni, de plusieurs manières naturelles, 
d'une topologie localement convexe. 

La topologie faible correspond à la convergence ponctuelle : le filet 
{f,} converge vers f, si pour chaque x € L le filet numérique f, (x) 


converge vers f (x). | 
La topologie forte correspond à la convergence uniforme sur 


les ensembles bornés. | 
Si Z est un espace de Banach avec norme p, alors ZL’, muni de 


la topologie forte, est également un espace de Banach avec la norme 
p'(f}= sup [f(x)|. 
p(x)<1 
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Soit À un opérateur linéaire continu de ZL, dans Z,. L'opérateur 
adjoint 4’: L,— L;, défini par la formule 


[4"f] (x) = f (4x), zE La, EL, 


est continu, si l’on munit les deux espaces L, et Z; de la topologie 
forte ou de la topologie faible. 

Dans l’espace $ (ZL.,, L.,) de tous les opérateurs linéaires continus 
de L, dans Z,, on considère le plus souvent les trois topologies 
suivantes : 

le filet À, converge vers À 

1) faiblement, si pour tous les x € L, et f € L, le filet numérique 
{f (A,x)} converge vers f (Ax); 

2) fortement, si pour chaque x € L, le filet vectoriel À, (x) 
converge vers ÀAx dans ZL, ; 

3) uniformément, si pour chaque ensemble borné £ & L le filet 
{A, (x)} converge vers Azx uniformément pour tous les x € E. 


Notons un certain désaccord de ces définitions (généralement admises) avec 
les définitions (tout aussi répandues) des topologies dans L’. Chaque forme f € 
€ L' peut être considérée comme un opérateur de Z dans X. Alors, la topologie 
uniforme d’opératcurs correspond à la topologie forte de ZL’, ct les topologies 
faible et forte d'opérateurs (qui coïncident dans ce cas) correspondent à la topolo- 
gic faible dans L’. 


Exemple 2 L'espace fortement adjoint à ZLP(X, u), 
4 < p < ©, est naturellement isomorphe à ZLT(X, u), où 1/q + 
+ 1/p = 1. A savoir, chaque forme continue sur LP (X, u) 
peut s’écrire 


Fa) = À { (r) 8 (x) du (, 
X 


où gE LT(X, u), tandis que la norme de la forme F, coïncide 
avec la norme de la fonction g dans LT(X, u). 

Citons ici sans démonstration quelques propriétés des ELC, 
dont nous nous servirons par la suite. 

1 Chaque ensemble faiblement borné et faiblement fermé est faible- 
ment compact. 

2{(théorème de Hahn-Banach). Soit À un ensemble 
fermé convexe, qui contient un voisinage de l’origine des coordonnées. 
Pour chaque point x € K, il existe une forme linéaire f, telle que 
f (y) L'1 pour tous les y € K et f(x) > 1. 

3 (théorème de Krein-Milman). Chaque ensemble 
compact convexe est l’adhérence de l'enveloppe convexe de ses points 
extrêmes. (Un point d’un ensemble convexe Æ s'appelle point extrême, 
s'il n’est le centre d’aucun segment entièrement compris dans K.) 

4 (théorème de Choquet). Soit K un ensemble compact 
convexe. Pour chaque point x € K,, il existe une mesure u sur l’ensemble 


4% 
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E des points extrêmes, telle que 
f (= | fi dut 
E 


pour une forme continue linéaire quelconque f. 

5 (théorème de Schauder-Tikhonov). Chaque 
application continue d'un ensemble compact convexe K dans soi-même 
possède un point fixe. 

6 (théorème de Banach-Steinhaus). SiL,et L, 
sont des espaces de Banach et S & 8 (L,, L,) est une famille d’opéra- 
teurs, bornée sur chaque vecteur x € L,, alors cette famille est uniformé- 
ment bornée, c'est-à-dire que || À | < C' pour tous les AES. 

La démonstration de ces faits peut être trouvée dans les livres 
[14], [16], [451. 

Nous allons également supposer connus les théorèmes élémentaires 
concernant les espaces hilbertiens : le théorème du supplémentaire 
orthogonal, l'inégalité de Bessel et l'égalité de Parseval, l’existence 
d'une base orthonormée et l’isomorphisme des espaces de même 
dimension (c.-à-d. dont les bases sont d’une même cardinalité). 
Pour ces renseignements voir les manuels [40] et [11]. 

Soient L, et L, des espaces normés, avec des normes p, et p2. 

Dans le produit tensoriel Z, @ L, il n'existe pas, a priori, de 
norme canonique. On peut néanmoins indiquer une classe naturelle 
de normes (on les appelle crossnormes), qui possèdent les propriétés 


suivantes : 
1) p (1 © Ze) = P1 (ti) Po (a), Li € Li, Le € Lo, 
2) p'(f1 © f2) = pi (1) P: (2); f1 € Li, f2E L:. 


(I1 est évident que chaque élément de L, @ L,; définit une forme 
linéaire sur L, © Là.) 

I1 se trouve que, parmi les crossnormes, il existe celle p, © p 
maximale : 


(Pi ® P2) (2) = ini 2 Pa (ti) - P2 (yi), 


où la borne inférieure se calcule sur toutes les représentations de z 
sous la forme zx; @ y;, et celle minimale p;, @ ps: 
îi v 


(p1 © pe) (2) = sup] (2) |, 


où la borne supérieure se calcule sur tous les ÿ de la forme f, @ f., 
feLi et pif) L1, i = 1, 2. | | 
Le complété de L, @ L; par rapport à ces normes sera noté 


L, @ L, et L, @ L, respectivement. 
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Considérons le cas particulier L, — L, L, = L'. L'espace L, @ L: 
peut, dans ce cas, être identifié à l’espace des opérateurs linéaires 
de rang fini dans L: à l'élément x @ f, x € L, f E L' correspond 
l'opérateur yr- f (y) x. 


Problème 8 Démontrer que la norme p @ p’ coïncide avec la norme 
usuelle de l’opérateur. 


Dans ce cas, L @ L’ coïncide avec l’adhérence par la norme 


de l’espace des opérateurs de rang fini. Tous ces opérateurs sont 
complètement continus (compacts selon une autre terminologie), c’est-à- 
dire qu’ils envoient tout ensemble borné dans un ensemble relative- 
ment compact (c’est-à-dire dans un ensemble à adhérence compacte). 
Si L est un espace hilbertien, la réciproque est vraie : chaque opérateur 
complètement continu dans L est la limite pour la norme d'opérateurs 
de rang fini. 

Supposons que l'application naturelle de L @ L' dans L @ L’ 
soit injective. On peut dans ce cas considérer les éléments de 


L @Q L'’ comme des opérateurs dans L. Ils appellent opérateurs nu- 
cléaires. L'application À — tr À (la trace de l’opérateur) se prolonge 
par continuité à toute la classe des opérateurs nucléaires. Dans un 
espace hilbertien, cette classe se compose de tous les opérateurs À, 
pour lesquels, dans une base orthonormée {x,} quelconque, la 


somme >, (Ax,, t) converge. La valeur numérique de cette somme 


œ 
ne dépend pas du choix de la base et coïncide avec la trace de À. 

Tout ÆELC admet la même définition des produits L, ® L, 
et L, @ L:. 

Supposons que dans ELC L, la topologie est donnée par une 
famille de semi-normes p,; &« € À, tandis que dans ELC L, par 
une famille de semi-normes ps; B € B. Alors, on peut définir dans 
L, @ L, deux topologies localement convexes. L'une se définit 


par la famille de semi-normes p, © QG «CEA, BEB, et l’autre 
par la famille de semi-normes p, @ gs, à« € À, B € B. Les complétés 


de L, @ L, pour ces topologies seront désignés par L, © L, et 
L, @ L, et appelés respectivement produits tensoriels projectif et 
faible des espaces Z, et L.. 

Une classe importante d'espaces nucléaires M est caractérisée 
par la propriété suivante: pour un £ LC quelconque L les produits 
tensoriels L ® M et L @ M coïncident. 

Les espaces nucléaires possèdent toute une série de propriétés 
remarquables, qui les apparentent aux espaces de dimension finie. 
Ainsi, chaque ensemble fermé borné dans un espace nucléaire est 
compact, les convergences forte et faible dans un tel espace coïnci- 
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dent, chaque opérateur continu dont la source ou le but est un espace 
nucléaire se détermine entièrement par son noyau. Chaque sous- 
espace d’un espace nucléaire, les limites projective et inductive 
dénombrable d’espaces nucléaires sont également des espaces nu- 
cléaires. 

Les espaces nucléaires dénombrablement normés sont les plus 
fréquents. Soit V un ELC avec un ensemble dénombrable de semi- 
normes {p,}. Sans nuire à la généralité, on peut considérer que 
PR < Pn+1 (autrement, on aurait pu remplacer {p,} par une famille 


équivalente de semi-normes p;, — sup p;). Il s’avère que pour que 


1< 
l’espace V soit nucléaire il faut et il suffit qu'il existe pour chaque 
k un j (k), tel que l’application identique de (V, p;,) dans (V, pz) 
soit un opérateur nucléaire. 

Citons à titre d'exemple l’espace S (R) des fonctions infiniment 
différentiables rapidement décroissantes sur la droite numérique, 
définies par une famille de normes 

k 
pa(f}=sup 2 |zx'f0® (x)|. 
x l,m—0 


Pour plus de détail voir les livres [18] et [501]. 


Remarquons que si L, et Z, sont des espaces hilbertiens, parmi 
les crossnormes sur L, @ L, il existe une seule norme engendrée 
par le produit scalaire. Le complété de Z, @ L, pour cette norme 
s'appelle produit tensoriel hilbertien des espaces L, et L.. 

Dans le cas particulier L, = L, L, — L”, le produit hilbertien 
de L et L' peut être identifié à l’espace dit des opérateurs de Hilberi- 
Schmidt. On peut démontrer que l'opérateur À est un opérateur 
de Hilbert-Schmidt, si et seulement si AA* est un opérateur nucléaire. 
La norme de l’opérateur À dans l’espace des opérateurs de Hilbert- 
Schmidt peut être donnée par la formule 


IA IP = tr (44%). 
4.2. Algèbres de Banach. 


La théorie des algèbres de Banach (ou des anneaux normés si l’on s’en tient 
à la terminologie originale) a été créée au début des années quarante par 
I. M. Gelfand; c’est un des instruments les plus puissants pour les applications 
à la théorie des fonctions, à la théorie des opérateurs, à la théorie des représen- 
tations des groupes et à d’autres domaines des mathématiques. 

Nous exposerons ici seulement celles des notions de la théorie des algèbres 
de Banach qui nous seront nécessaires par la suite. 
[A5] Pour un exposé systématique de ces problèmes voir les livres [8], [23], [44], 

5]. 


Une algèbre YA sur le corps C s'appelle algèbre de Banach, si A 
est à la fois un anneau topologique et un espace de Banach. 


$ 4. ÉLÉMENTS D’ANALYSE FONCTIONNELLE 55 


Nous supposerons que la norme donnée dans une algèbre de 
Banach satisfasse à la condition 


IEEE AIRE AE (1) 
Problème 1. Chaque norme à produit continu est proportionnelle 
à une norme qui satisfait à la condition (1). 
Indication. Enutilisant le principe de la borne uniforme (voir 4.1), 
démontrer l'inégalité || xy | < CI x|l:1| y Il. 


En plus, on peut considérer que les algèbres dont il s’agit contien- 
nent une unité À et || 1 | — 1. Le cas général se réduit à celui-ci 
par l'opération « d’adjonction de l'unité » (comparer avec 3.1). 


Remarquons que dans la catégorie des algèbres sur C cette opération n’est 
pas la même que dans celle des anneaux. Dans notre cas, la nouvelle algèbre Y4 
se compose d'éléments de la forme À 1 + x, où x € À, À € C, tandis que 1 est 
l’unité adjointe. Pour norme dans J, on peut prendre l'expression [| À:1 + x || — 


= |[Al+lz lil 


On appelle spectre d’un élément x € X l’ensemble Sp x de tous 
les nombres complexes À pour lesquels l'élément x — À:1 n'est 
pas inversible dans 9. 


Problème 2. Démontrer que Sp x est contenu dans un disque de 
centre 0 et de rayon || x ||. 
Indication. Si|A]| > {||x ||, alors pour (x — À-1)-1 on peut prendre 


la valeur numérique de la somme — > xnÂ ni, 
n=0 
La fonction R,(A) = (x — 1-1) !, définie sur le complément 
de Sp zx, à valeurs dans l’algèbre YA, s'appelle résolvante de l’élé- 
ment x. 


Problème 3. Démontrer que Sp x est un ensemble fermé et que R. (à) 
est une fonction analytique de À sur le complément de Sp x.] 


Indication. Démontrer que la somme > (À — A5) R, (Mo), qui 


n=0 
converge dans le disque | À — A0 | || R+ (lo) I|"!, est une résolvante de l’élé- 
ment x. 
_ Problème 4 Démontrer que Sp x est un sous-ensemble compact non 
vide de C. 
Indication. SiSpr= g, alors R, (À) est délinie et bornée sur tout 
le plan complexe. Appliquer le théorème de Liouville aux fonctions numériques 


Î (R> (À)), Î € !’. 


Corollaire (théorème de Gelfand-Mazur). 
Chaque corps de Banach sur C coïncide avec C. 
En eïfet, si ce corps contient l'élément x € C, alors Sp x = @. 
Le nombre réel p (x) — Sub | À | s'appelle rayon spectral de 
ESpx 


l'élément x. 
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Problème 5. Démontrer que p (x)}=limf}z"{|!/". 


n— 00 

Indication. Considérer le développement de R, (x) en une série de 
Taylor au point À = oo. 

Remarque. Il peut paraître étrange que la valeur numérique de p (x), 
uniquement déterminée par la structure algébrique sur %, s'exprime pourtant 
en fonction d’une norme choisie très arbitrairement. Néanmoins, d’après le 
théorème de Banach (voir 4.1), deux normes qui définissent une même topologie 
sur Ÿ sont liées par la relation 


SAT. es 
Par conséquent 
n 1 
n— 00 [| x" [le 


Problème 6. Démontrer que si ®: A —+ $ est un homomorphism: 
d’algèbres de Banach et œ (1) — 1, alors 


p (p (x)) < p (x). 


Indication. Les éléments inversibles se transforment en éléments 
inversibles. 


Pour un polynôme quelconque P (2) = ay + az +... +a,z" 
à coefficients complexes et pour x € X quelconque, on peut définir 
l'élément P (x) = ao + ax +... + ax" ET. 

Il se trouve que la correspondance P ++ P (x) peut être prolongée 
dans une classe de fonctions plus large. 

Soit © (Sp x) l'algèbre des fonctions analytiques définies dans 
un certain voisinage (propre à chaque fonction) de l’ensemble Sp x & 
c €, muni de la convergence uniforme sur les compacts. 

Il existe alors un homomorphisme continu f --+ f (x) de l’algèbre 
© (Sp x) dans A, qui prolonge l’homomorphisme de l'algèbre des 
polynômes décrit plus haut. L'élément f(x) peut être calculé à 
l’aide de la formule 


f{)=g | 0) R:(0) dh, 
C 


où C est une courbe fermée quelconque, située dans l’ensemble de 
définition de fet renfermant dans son intérieur l’ensemble Sp x. 

D'une manière analogue, quoique techniquement plus difficile, 
on peut définir f (x;, ..., Zn), Où {x;} est une famille d'éléments 
de À permutables deux à deux, tandis que f est une fonction analyti- 
que de n variables complexes, définie dans le voisinage d’un certain 
ensemble Sp (x,;, ..., æ1) € C”, appelé spectre simultané de la 
famille {x;}. Une définition exacte en sera donnée plus loin. 

La classe la plus importante et la mieux étudiée des algèbres 
de Banach est celle des algèbres de Banach commutatives. 

A chaque telle algèbre %, on associe l’ensemble M{(A) de ses 
idéaux maximaux, différents de 9. 
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Ce même ensemble M(A) peut être défini comme l’ensemble de 
tous les caractères non nuls de À, c’est-à-dire des homomorphismes 
continus de À sur C. En effet, si 4%: A—- C est un caractère, alors 
X7-! (0) est un idéal maximal de |. Inversement, si J est un idéal 
maximal dans À, alors À/J est un corps de Banach sur C et, d’après 
le théorème de Gelfand-Mazur, on a A/J — C. Par conséquent, la 
projection canonique À — A/J donne un caractère de JA. 

L'interprétation des points % € Nt (A) comme caractères de À 
permet de faire correspondre à chaque élément x € À une fonction 


z sur M (Y): | 
x (x) = x (x). (2) 


La fonction x s'appelle transformation de Gelfand de l'élément x. 
L'ensemble + (A) se munit de la topologie la plus faible pour 


laquelle les fonctions x, x € À sont continues. 


Problème 7. Démontrer que % (A) est un compact. 

Indication. SX (A) est un sous-ensemble borné et faiblement fermé 
de l’espace de Banach %’, adjoint à A. 

Problème 8 Démontrer que l’ensemble des valeurs de la fonction x 
coïncide avec le spectre de l’élément x. 

Indication. Chaque élément non inversible est contenu, d’après le 
lemme de Zorn, dans un idéal maximal. 

Corollaire 1. Pour chaque x € Y, on a l'égalité 


p(x)= sup ]zx(x)l. 
XEMA) 


Corollaire 2. La transformation de Gelfand est un homomorphisme 
ou de À dans l'algèbre C (IX (Ÿ)) de toutes les fonctions continues sur 
(2). 


Le résultat du problème 8 nous suggère la définition ci-dessous. 
On appelle spectre simultané des éléments x,, . .., x, de l’algèbre 
YA l'image de M (A) dans C? par l'application 


kr (x (a), ..., X(Æn)). 


Exemple 1. Soit A--C (X) l'algèbre des fonctions continues 
sur le compact X. 


Problème 9. Chaque idéal fermé J &C (X) se compose de toutes les 
fonctions s’annulant sur un certain sous-ensemble fermé Y « X. 


Ainsi, les idéaux maximaux de À correspondent aux points de X. 
L'espace Mt (A) coïncide avec X, et la transformation de Gelfand 
est identique. 

Exemple 2. Soit À — [! l’espace des suites sommables 


CO 


ZT = (Xo, T1, - --) pour la norme [x || = >, |x; | avec l'addition 
i=0 
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usuelle et la multiplication donnée par la formule 
ñn 
(TY)a — à TrYn-»- 
k=0 


Problème 10. L'espace % (A) est homéomorphe au disque | z | < 1, 
z € C. Démontrer que la transformation de Gelfand est de la forme 


" en 
zx (2) — > PAVAR 
i=0 


Exemple 3. Soit X l’algèbre des matrices de la forme 


M : De 
fo 4 , avec les opérations et la norme usuelles. On vérifie direc- 


À 
tement que Ÿ possède un caractère unique 7: È 4 -> À. L'espace 


M (A) se compose d’un seul point, et la transformation de Gelïand 
est donnée par le caractère %. 


Problème 11. Démontrer que le radical de l'algèbre X (voir 3.1) 
se compose de tous les éléments x pour lesquels p (x) = 0, c’est-à-dire que Sp x — 
= {0} et x = 0. 

Corollaire. Si Ÿ est une algèbre semi-simple, elle est isomorphe À) 
à une sous-algèbre de C (9XR (%)). 

En effet, dans ce cas, la transformation de Gelfand scra une inclusion. 
Nous verrons plus loin, que dans le cas particulier important des C*-algèbres, 
ce plongement sera un isomorphisme. 


Nous dirons qu’une algèbre de Banach Y est munie d’une involu- 

tion, si à chaque x € A correspond un élément x* € YA, de sorte que 

1) (x +uy)*=x* +uz* (le trait indique le nombre complexe 
conjugué), 

2 (xy)* = y*x*, 

9) (1°) =%, 

4) l'application x-- x* est continue. 

Un élément x EX s'appelle hermitien, si x* = x, normal, si 
ZX —.24".-et unitaire, si LT = Air" — À. 

Les algèbres de Banach à involution forment une catégorie, 
dont les morphismes sont les homomorphismes d’algèbres permutant 
à l’involution. 

Comme exemple d'’algèbres de Banach à involution, citons 
l'algèbre $ (Æ) de tous les opérateurs continus dans l’espace hilber- 
tien Æ7, la norme étant la norme usuelle d’un opérateur et l’involution 
le passage à l'opérateur adjoint. 


1) Isomorphe comme algèbre, mais en général, non isomorphe comme al- 
gèbre de Banach. 
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Un morphisme œ de l’algèbre À dans l’algèbre S(AÆ) s'appelle 
en général représentation opératoire de l'algèbre À. Pour souligner 
qu'il s’agit d’un morphisme dans la catégorie des algèbres à involu- 
tion, on se sert de l'expression +-représentation ou représentation 
symétrique. 

La représentation œ s’appelle exacte si ker @ = 0, c’est-à-dire 
si @ est un monomorphisme. Les représentations œ; dans les espaces 
H;, i — 1, 2 s'appellent équivalentes s’il existe un isomorphisme +: 
H, — H,, tel que pour x € A quelconque, on a le diagramme com- 


mutatif suivant : 


p1(x) 
Hi Hi 


2 | | 
p2(x) 


HE re Ho 
4.3. C*-algèbres. 


Le problème de l’existence des représentations exactes pour les algèbres 
à involution a été résolu par I. M. Gelland et M. A. Naimark. Cette solution 
a dégagé une classe spéciale d’algèbres de Banach, dites C*-algèbres. 


L’algèbre À à involution s'appelle C*-algèbre !), si l’on a la 
condition 
I x*x || = [x |}, quel que soit x € A. 


Il est évident que l'algèbre $ (H) est une C*-algèbre. 

Théorème 1 (Gelfand-Naimark). 1) Chaque 
C*-algèbre admet une représentation opératoire exacte. 2) Pour chaque 
algèbre de Banach À à involution, il existe une C*-algèbre C* (A) 
et un morphisme @: A — C* (A), tels que chaque représentation 
opératoire , de l'algèbre À est de la forme @, —= p29, où p, est une 
représentation de C* (A). 

Avant de démontrer ce théorème, citons quelques propriétés 
importantes des C*-algèbres. 


Problème 1. Six est un élément hermitien de la C*-algèbre %, alors 
pr) = {x |. 

Indication. Utiliser le fait que || x? [| = || x |" et le résultat du 
problème 5 de 4.2. 

Problème 2. Siœo: X — X est un morphisme de C*-algèbres, alors 
Hp @I< I , | | 

Indication. Utiliser les résultats du problème 6 de 4.2. 


Corollaire. Dans chaque C*-algèbre, la norme se définit 
uniquement. | 


Problème 3. Si a et usont des éléments hermitien et unitaire respec- 
tivement de la C*-algèbre A, alors SpaGR, Sp u CT (le cercle unité dans C). 


1) On emploie également les termes : algèbre complètement régulière, algèbre 
stellaire. 
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Indication. Puisque chaque opérateur normal (en particulier, 
bermitien ou unitaire) et toutes les fonctions de cet opérateur sont contenus dans 
une C*-sous-algèbre commutative A, on peut donc considérer À commutative. 
Pour un élément unitaire, le résultat du problème découle du problème 8 de 4.2. 


_ k 
PURE — ; _n . ita 
Pour un élément hermitien a, utiliser le fait que l'élément eîta — à d 
k=0 


est unitaire pour chaque 6€ KR. 


Corollaire. La transformation de Gelfand pour une C*-algè- 
bre commutative À est un prolongement isométrique de À dans C (M (X)). 

En effet, cette affirmation découle du résultat du problème 1 
et la permutabilité à l’involution découle du fait que les éléments 
hermitiens deviennent des fonctions réelles. 

On a, en fait, 

ThéorèmeZ2(Gelfand). La transformation de Geljand 
d'une C*-algèbre commutative À est un isomorphisme de Y sur 
C (M (X)). 

Problème 4. Soient À une C*-sous-algèbre fermée de l’algèbre C (X) 
des fonctions continues sur le compact X, a un élément hermitien de A et f une 
fonction continue sur Spa &R. Alors f (a) € Y. 

Indication. Chaque fonction continue f sur le compact Spa CR 


peut être approchée uniformément par des fonctions linéaires par morceaux. 
La fonction linéaire par morceaux s’obtient de la fonction z-> | x | par des 


opérations linéaires et par composition. 
Enfin, la fonction x | x | sur le segment [—W, N] peut être représentée 
par une série uniformément convergente 


4 r2 : a 1.3.5... (2k—3 z2 \À 

Lt 4 (ir )= nr RARE (157) | 

h=—1 

Du résultat du problème 4 il découle, en particulier, quesi 
l'algèbre À sépare les points x et y, il existe une fonction a € Y, 
égale à l’unité dans un certain voisinage de x, nulle dans un certain 
voisinage de y, et comprise entre 0 et 1 dans les autres points. Si 
l'algèbre A sépare n'importe quels deux points, alors pour chaque 
point x et son voisinage ÜU quelconque il existe une fonction a EY, 
égale à 1 au point x et nulle à l’extérieur de U. 

D'où l’on peut déduire facilement le théorème suivant fort 
important. 

Théorème 3(Stone-Weierstrass). Si À est une 
C*-sous-algèbre fermée avec unité dans l'algèbre C (X), et les éléments 
de À séparent les points du compact X, alors A = C'(X). 

Le théorème 2 découle du théorème 3 et des définitions du spectre 
et de la transformation de Gelfand. 

Le corollaire ci-dessous est d’importance particulière. 

Corollaire. Si a est un élément hermitien d'une C*-algèbre 


À, et Spa & R* (le demi-axe positif), alors il existe un seul élément 
bEYX, jouissant des propriétés: Sp b = R* et b? = a. 


8 4. ÉLÉMENTS D’'ANALYSE FONCTIONNELLE 61 


Autrement dit, il existe une seule racine carrée positive d’un 
élément positif. 

Revenons au théorème 1. Les deux parties de ce théorème se 
démontrent par une construction explicite, où le rôle fondamental 
revient à la notion de forme positive. 

La forme f € A’ s'appelle positive, si f (x*x) > 0 pour tous les 
x E À. 


Problème 5. Démontrer que chaque forme positive satisfait aux 
inégalités 

a) | f(x) << f (x*x)-f (1), 

b) 1 # (2) | SI & Il (D: | oo 

Indication. Pour démontrer a) appliquer l'inégalité de Cauchy- 
Bouniakovski | (x, y) [2 < [1x | || y IP au produit scalaire 


(x, y) = f (y*x). (1) 


L’inégalité b) découle de a) et du fait que Sp (|| z*x [|:1 — z*x) CRt+et, 
par conséquent, || z*æ || f (1) — f (x*x) > 0. 


Si est une représentation de l’algèbre À dans l’espace Æ et 
£ un vecteur de H, alors f: (x) — (p (x) &, €) est une forme positive. 
Il est à noter que chaque forme positive peut être obtenue de cette 
manière. En effet, munissons À d’un produit scalaire par la for- 
mule (1). Soit A; l’espace hilbertien correspondant. L'application 
y-> xy de l'algèbre À se prolonge en un opérateur œ (x) de H;. 
L'homomorphisme 


op: AS (H;) 


est permutable à l’involution, puisque 


(op (x) y, 2) = f (z*xy) = (y, p (x*) 2). 


Nous avons obtenu une représentation de l’algèbre A dans l’espace 
H;. Si l’on prend pour Ë l’image de 1 € À dans 7;, on aura fr (x) — 
— (p (x) 6, Ë) = f(x). 

L'existence d’une représentation exacte de la C*-algèbre % 
découle du fait suivant. 

Lemme. Pour chaque x ==0 d'une C*-algèbre À il existe 
une forme positive f, telle que f (x) = 0. 

En effet, la somme directe des représentations construites pour 
toutes les formes positives de la manière exposée ci-dessus possède 
un noyau nul. 

Pour démontrer le lemme, désignons par P l’ensemble de tous 
les éléments hermitiens de À dont le spectre appartient à R*. 


Problème 6. Démontrer que: 1) P est un cône convexe fermé, 2) 1 est 
un point intérieur de P, 3) P A —P —={0}. 
Indication. Utiliser le corollaire du théorème de Gelfand. 
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Considérons maintenant l’ensemble convexe À composé de tous 
les points de la forme 1 — y, y € P. Si [x || > 1, alors x*x € K. 
D'après le théorème de Hahn-Banach, il existe une forme f € X” 
aux propriétés suivantes: 


f(y) LAÂ pour tout yEK et f(x*x) > 1. 


La première propriété signifie que f (1 — y) < 1 pour un y € P 
quelconque d’où il s'ensuit que jf est une forme positive. Le lemme 
est démontré. 

Pour démontrer la deuxième partie du théorème de Gelfand- 
Naimark, posons pour zx € À 


zh = sup VF (x*x), 


où la borne supérieure se prend sur toutes les formes positives qui 
satisfont à la condition f (1) = 1. 


Problème 7. Démontrer que l'algèbre C* (9) s'obtient de À en facto- 
risant par l'idéal tous les x pour lesquels |] x ||, = 0 et en complétant ensuite 
par rapport à cette norme. 

Indication. Soit o: À —+ 8 un morphisme de l'algèbre Y dans une 
C*-algèbre 8 quelconque. Démontrer par la méthode de solution du problème 2, 


que | p (x) 1 << | zx |f1. 


Exemple 1. Si À est une C*-algèbre, on a C* (A) = X. 

Exemple 2. Soit A une algèbre commutative à involution. 
Appelons l'idéal maximal y € Mt (A) symétrique, si x* (x) = x (x) 
pour un æ € À quelconque. L'ensemble des idéaux symétriques 
maximaux forme un sous-ensemble compact X, = X = NN (X). 


Problème 8 Démontrer que C* (%) est isomorphe à C (X,), et que le 
morphisme æ: À —+ C* (A) s’obtient comme composition de la transformation 
de Gelfand et de la restriction sur X,. 

Indication. Chaque idéal symétrique définit un caractère y, qui 
est une +-représentation de À dans C. Par conséquent, % est de la Îorme 7509, 
où Y, st un certain caractère de C* (). 


4.4. Algèbres opératoires commutatives. Appliquons les notions 
relatives aux algèbres de Banach exposées ci-dessus à l'étude des 
algèbres d’opérateurs dans un espace hilbertien. 

Soit À une algèbre d'opérateurs commutative dans l’espace 
hilbertien A. Nous allons supposer que À soit symétrique, c’est-à-dire 
qu'elle contienne, avec chaque opérateur À, l’opérateur adjoint A*. 
Si À est fermée pour la norme, alors À est une C*-algèbre commuta- 
tive. Nous allons supposer que À contient un opérateur unité 1. 
Alors, d’après les résultats de 4.3, elle est isomorphe à l’algèbre 
C (X) des fonctions continues sur le compact X — Wt (A). Appelons 
de telles algèbres A, et A, dans les espaces 77, et A, spalialement 
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isomorphes s’il existe un tel isomorphisme isométrique t: H, — H, 
que l'application a+ tat-! est un isomorphisme de A, sur Y.. 
Nous donnerons, pour chaque compact X, une classification (à un 
isomorphisme spatial près) de toutes les algèbres d’opérateurs, étant, 
comme C*-algèbres, isomorphes à C (X). 

Il est néanmoins plus commode de considérer un problème plus 
général, le problème de description de toutes les représentations 
de la C*-algèbre A — C (X) en question à équivalence près. Il est 
clair qu’une telle classification des représentations exactes permet 
de résoudre le problème de la classification spatiale des algèbres 
isomorphes ‘à C (X). 

Avant de résoudre notre problème dans le cas général considére- 
rons le cas particulier, où X se compose d’un nombre fini de points 
Li, «+ +, Xp et l’espace À est à dimension finie. 

L’algèbre C (X) est isomorphe dans ce cas à la somme directe 
de * exemplaires du corps C. 

Soient e; les fonctions sur X, égales à 1 au point x; et nulles 
dans tous les autres points. Puisque ef = & = e;, e;e; = 0 pour 


k 
ijet De; — 1, pour chaque représentation de l'algèbre A les 
i=0 


éléments e; sont envoyés dans des opérateurs Æ;, tels que Æ* — 
k 


= E?=£;, E;E, = 0 pour ijet à E: = 1. 


1= 


Problème 1. Démontrer que les opérateurs Æ; sont des opérateurs de 
projection orthogonale sur des sous-espaces H; € H orthogonaux deux à deux 
k 


tels que @ H; = II. 
i—1 


Il est évident que les nombres »;, = dim }; sont des invariants 
de la représentation et que pour chaque suite (n,, . .., n:) d’entiers 
non négatifs, il existe une seule (à équivalence près) représentation 
d’algèbre à valeurs considérées de ces invariants. 

Ainsi, pour classifier les représentations de l'algèbre À dans 
le cas de dimension finie il faut se donner sur l’ensemble X — M (%) 
une fonction de multiplicité nr (x) aux valeurs entières non négatives. 
Les représentations exactes correspondent aux fonctions de multi- 
plicité partout positives. 

Pour décrire la situation dans le cas de dimension infinie, faisons 
appel à certaines notions de la théorie de la mesure (voir 4.1). 
Soit u une mesure positive régulière sur X. L'opérateur de multi- 
plication par une fonction continue a dans C'(X) peut être pro- 
longé à un opérateur continu dans L?(X, u) que nous désignerons 
par q, (a). Ilest évident que la correspondance a > , (a) est une 
:-représentation de l'algèbre C (X) dans l’espace L*(X, u). 
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Si les mesures u et v sont équivalentes, l'opérateur de multi- 
plication par (du/dv)/? établit l’équivalence des représentations 
Pu et Pr. 

Inversement, supposons que les représentations , et , soient 
équivalentes et que l'opérateur t: L?(X, u) — L?(X, v) établisse 
cette équivalence. Posons f, = 1 et &« = t(f,). Pour une fonction 
continue quelconque f nous avons 


T9) = Tu (Ÿ) fo = Pv (f) To = Pv (f) à = fu. 


Le fait que t est isométrique entraîne l'égalité du = | & [’dv. Par 
conséquent, la mesure u est absolument continue pour la mesure v 
et du/dv = | « |. D'une manière analogue, l’étude de l'opérateur 
T’!: L'(X, v) — L?(X,u) nous amène à conclure que v est absolu- 
ment continue pour u. Les mesures et v sont donc équivalentes. 

En raisonnant d’une manière analogue, on peut démontrer le 
fait utile suivant. 


Problème 2. Chaque opérateur continu dans Z, (X, u), permutable 
aux opérateurs de p, (f), est un opérateur de multiplication par une certaine 
fonction de L©(X, pu). 

Ceci implique en particulier que tous ces opérateurs sont permutables deux 
à deux. 


La représentation @ de l’algèbre Ÿ dans l’espace A s'appelle 
cyclique, si H contient un vecteur &, tel que l’espace des vecteurs 
de la forme œ (a) &, a € À est dense dans A. Le vecteur & s'appelle 
dans ce cas vecteur cyclique où source. 

Il est clair que toutes les représentations p, construites ci-dessus 
dans les espaces Z, (X, u) sont cycliques avec source f, (x) = 1. 


Problème 3. Démontrer que dans le cas de dimension finie seules les 
représentations pour lesquelles tous les invariants n; valent 0 ou 1 seront cycli- 
ques. 


Ainsi, les représentations , construites plus haut ne sont évidem- 
ment pas toutes les représentations possibles de l’algèbre X. Nous 
démontrerons néanmoins que chaque représentation cyclique œ est 
équivalente à l’une des représentations p.,. En effet, soient 77 l’espace 
où agit et & La source de A. Définissons une forme linéaire continue 
sur À — C(XÀ) en posant 


F (a) = (q (a) &, Ë). 
Comme nous avons noté plus haut, F s'écrit 
F(a)= a (x) du (x). 
À 


où u est une certaine mesure o-additive sur X. La forme F prend 
des valeurs non négatives sur les fonctions non négatives, car si 
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> 0, alors a = a, où a, est une fonction réelle, et 
(p(GE, E)—(p(a)E, E) = (p(a)E, (a) E) >0. 


Par conséquent, la mesure u est positive. Enfin, l’application de 
C(X) dans F, donnée par la formule a + (a) Ë, se prolonge à un 
opérateur unitaire t: L?(X, u) — H qui établit l’équivalence entre 
Pu et ®. 

Problème 4. Soit @ la représentation d’une C*-algèbre À dans un 
espace hilbertien Æ. Il existe une décomposition de Æ en une somme directe de 
sous-espaces H,,a € À, invariants par rapport à @ (A) telle que la restriction 
des opérateurs de représentation à chaque 7, est une représentation cyclique 


Indication. Appliquer le lemme de Zorn à la famille des sous- espaces 
de H admettant la décomposition en somme de sous-espaces cherchés. 


Remarquons que la décomposition de la représentation œ@ de 
l'algèbre À en somme de représentations cycliques @, — pn., de 
même que la famille de mesures u, sur X — M (A) qu'elle engendre, 
ne se déterminent pas de façon unique. 

Dans le cas où la somme contient une quantité dénombrable 
ou finie de termes (par exemple, si l’espace Æ est séparable), nous 
supposerons qu'il existe une décomposition de œ@ en une somme 
de représentations cycliques @; = @u,, i = 1, 2, ..., pour laquelle 
la mesure u,4, est absolument continue pour la mesure u;, 
ARE PR 

Les mesures u; sont, dans ce cas, définies par la représentation 
donnée @ à équivalence près. La mesure u, s'appelle alors mesure 
de base de la représentation . 

Ainsi, la représentation œ est caractérisée par une famille « décrois- 
sante » de classes de mesures sur l’espace X. Cet objet peut être 
également décrit d’une autre manière. Soient p, les mesures dérivées 
de u}, par u,. Définissons sur X une fonction de multiplicité n, en 
posant n (x) égal à la borne supérieure de tous les 4 pour lesquels 
On (x) > 0. Il est évident que la fonction de multiplicité est mesu- 
rable, définie uniquement presque partout pour la mesure pu, et 
permet de retrouver toutes les mesures u;, à une équivalence près. 

Soient u une mesure o-additive quelconque sur X et nr une fonc- 
tion u-mesurable quelconque, qui prend les valeurs 1, 2, . .., oo. 
Posons H, = L?(X, u) et notons A, le sous-espace de /,, composé 
de toutes les fonctions qui s’annulent en dehors de l’ensemble X,, 


k= 

où n (x) > k. Dans la somme directe H — S H},, définissons une 
k=1 

représentation @u, n de l'algèbre X = C (X) en prenant pour q,, à (a) 

l'opérateur de multiplication par la fonction a. 


Problème 5. Démontrer que la mesure u est une mesure de base, 
tandis que la fonction n est une fonction de multiplicité pour la représentation 
Pu, n° La représentation y, A est exacte si ct seulement si supp u — X. 


5—0361 
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Théorème 1. Chaque représentation @® de la C*-algèbre Y, 
que l’on peut mettre sous forme d'une somme dénombrable ou finie 
de représentations cycliques, est équivalente à une représentation de la 
forme Qu,n. Les représentations Qu, m €t @v.n sont équivalentes si et 
seulement si les mesures pu et v le sont aussi, et les fonctions m et n coïn- 
cident presque partout. 

La démonstration de ce théorème sera faite par étapes. 
Fos une autre démonstration possible voir le livre de J. Dixmier 
151.) 

Soit @ une représentation de la C*-algèbre À dans un espace 
hilbertien H. Faisons correspondre à chaque vecteur Ë € Æ le sous- 
espace À} € H qui est l’adhérence de l’ensemble des vecteurs 
de la forme œ (a) &, a E À. La restriction des opérateurs de œ (2) 
à Hz est une représentation cyclique. Notons-la @ et la mesure 
correspondante (sur X — M (A)) we. Introduisons un ordre dans 
H en posant 6 > 1, Si Le > Une 


Problème 6. SinE€ HEË, alors n < Ë. 
Indication. Utiliser l’ inclusion naturelle de X, dans A+. 


Problème 7. Soit H — œ He, la décomposition de Æ en une somme 
kR=1 


dénombrable de sous-espaces cycliques. Démontrer que le vecteur E = 
OO 


D dé | 
2 ee | E, est un élément maximal de H. 


‘Indication. Soient n € H et n la projection de n sur H:,. Alors 


=> Hnz- 


P Fe : blème 8. L'ensemble des vecteurs maximaux est dense partout 


dans A. 
Indication. Soit £ € H un vecteur maximal. Vérifier que l’ensemble 
des vecteurs maximaux est dense dans A4 et que chaque vecteur de la forme 


Etn où ne HE, est maximal. 
P L oblème 9. Supposons qu’il existe une décomposition dénombrable 


H = œ na. Montrer qu’il existe alors une décomposition H — e Hp 


k= 
telle que = > E:41 quel que soit k. 
Indication. Soit {{;}une suite où chacun des vecteurs n; se rencontre 
un nombre infini de fois. Définissons £, par récurrence, de sorte à remplir les 
conditions suivantes: 


k 
4) Ep+1 est un vecteur maximal dans (@ Hz), 
i=1 


1 
k+1 

La première partie du théorème 1 se déduit de la solution du 
problème 9. La deuxième partie se déduit du fait suivant. 


R+1 
2) pr © Hs) < 
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Problème 10. Chaque opérateur de L? (X, u) dans L? (X, v), permu- 
table à la multiplication par les fonctions continues, est un opérateur de multi- 
plication par une certaine fonction mesurable «&, qui satisfait à la condition 
| & |[v < pu. 

| En particulier, si les mesures u et v sont disjointes, cet opérateur est alors 
nul. 

Indication. Voir le raisonnement qui précède le problème 2. 


Une autre méthode de démonstration de l’unicité consiste à 
définir une mesure de base u et une fonction de multiplicité 7 (ou 
une famille décroissante de mesures u;) en termes invariants. Ceci 
est possible. 


Problème 11. Soient E,, ..., 6, une collection finie de vecteurs 
de l’espace H de la représentation @ et n un vecteur maximal de ( &, Hz). 

Démontrer que un > u, et qu’il existe une famille &,, . .., &, et un vecteur 
maximal n € (® Hx;)1 tels que nn — Lx. 


Indication. Utiliser la partie du théorème 1 déjà démontrée pour 
réduire le problème au cas ® — Qu, n: 


Signalons l’analogie de la caractéristique obtenue des mesures 
uL avec les caractéristiques extrémales des valeurs propres des 
matrices hermitiennes. 


Problème 12(principe de Courant). Soient À un opéra- 
teur hermitien dans un espace hilbertien de dimension finie Heu >>... 
... > À, Ses valeurs propres. Alors, 

(An, n) 


ÀÂn—= min max 1 Um 1) . 


6j se »5k-1 nE(É4. .. »5p_41) 


.. (Si À cest un opérateur compact hermitien l'affirmation analogue s'avère 
vérifiée dans le cas de dimension infinie.) 


Montrons comment on peut déduire du théorème 1 le théorème 
spectral classique. 
Soient X un compact, 4 un espace hilbertien. Si à chaque ensemble 


borélien £ € X on associe un opérateur de projection P (E) dans 
l’espace À, de sorte que 


4) P(U E)= 2 P (E:) si ENE,—=@ pour ij, 
2) P(S) = 0, P(X) =1, 


on dit que À est muni d’une mesure projective P. À chaque fonction 
continue ÿ sur À on peut faire correspondre l'opérateur 


| f(x) 4P (æ, 
X 


5% 
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où l'intégrale se définit comme limite (pour la norme) des sommes 
intégrales riemaniennes >, f (xx) P (A3). 

Théorème 2Z. Soit À un opérateur normal (en particulier 
hermitien ou unitaire) dans un espace hilbertien H. Il existe alors 
une mesure projective P unique sur le spectre de l'opérateur À, telle que 

1) l'opérateur P (E) permute à tout opérateur permutant à À et A*, 

2) a lieu l'égalité 


| = | x dP (a 


Pour la démonstration considérons la C*-algèbre À engendrée 
par l'opérateur À. Il est évident que ft (A) s’identifie au spectre 
de À, puisque chaque caractère de l’algèbre À est bien défini par 
sa valeur sur À. D’après le théorème 1, nous pouvons admettre 
que À est l’espace de l’une des représentations @4,\ de l’algèbre ?. 
Dans ce cas, pour P (E) on peut prendre l'opérateur de multiplica- 
tion par la fonction caractéristique de l’ensemble £. 


4,5. Sommes continues d'espaces hilbertiens et algèbres de von 
Neumann. L'opérateur de somme directe d’espaces hilbertiens admet 
une généralisation ultérieure. 

Etant donné une famille {H,},ex d'espaces hilbertiens, nous 
supposerons l’ensemble X muni d’une certaine mesure u. Il est 


naturel d'essayer de définir un nouvel espace A — | H.du (x) 


X 
dont les éléments seraient des fonctions f sur X qui prennent au 
point x € X des valeurs dans 7, et le produit scalaire serait donné 
par la formule 


Gus fe) = | Gi (a), fe (our du (2) (0 


X 


La difficulté consiste dans le fait que la fonction sous le signe de 
l'intégrale dans la formule (1) peut s'avérer non mesurable. Dans 
le cas où tous les espaces 7, sont séparables, on peut introduire une 
définition convenable des fonctions vectorielles f (x) mesurables, 
pour assurer la mesurabilité des fonctions numériques x + (f, (x), 

x)). 
L 4 tous les espaces À7, coïncident par exemple avec un seul espace 
séparable Æ, on peut alors appeler mesurable toute fonction vecto- 
rielle f (x), telle que pour une certaine (et donc pour toute) base 
{e,} dans À, les fonctions numériques x ++ (f (x), e;) sont mesu- 
rables. 

Un cas plus général se présente lorsque les espaces A, sont des 
sous-espaces d’un seul espace séparable 7, tandis que le projecteur 
orthogonal P, sur H, est une fonction opératoire mesurable, c’est-à- 
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dire pour une base quelconque {e,} dans H les fonctions numériques 
xt (P,e,, e;) sont mesurables. 

On peut enfin considérer a priori mesurables toutes les fonctions 
vectorielles d’une certaine famille dénombrable l' aux propriétés 
suivantes : 

1) les fonctions xr- (f, (x), f(x)}) sont mesurables pour 
f1» fe € T' quelconques, 

2) pour presque tous les x € X, les vecteurs f (x), f € l' engen- 
drent À. 

La fonction vectorielle f (x) s'appelle alors mesurable, si son 
produit scalaire par une fonction vectorielle quelconque de F est 
mesurable. 

Quoique cette dernière méthode semble plus générale, elle est 
essentiellement équivalente à la méthode précédente (et même 
à un cas particulier, où 7, est le sous-espace minimal enveloppant 
les premiers n (x) vecteurs de base dans A; n (x) étant une fonction 
mesurable sur X admettant les valeurs 1, 2, . .., co). 

Lorsqu'on a déjà choisi une notion convenable de fonction vecto- 


rielle mesurable, on appelle somme continue H — | H, du (x) l’en- 


X 
semble des classes d'équivalence des fonctions vectorielles mesura- 
bles f dont la norme à un carré sommable. 


L'opérateur À sur l’espace A — | H, du (x) s'appelle décompo- 


* 
sable, s’il existe une famille {A (x)} d'opérateurs dans les espaces 
H,, telle que 


(Af) (x) = À (x) f (x) presque partout sur À. (2) 


L'ensemble des opérateurs {A (x)} s'appelle mesurable si, pour 
une fonction vectorielle f (x) mesurable quelconque, la fonction 
vectorielle x -> À (x) f (x) est mesurable. Si la fonction numérique 
a (x) = || À (x) || appartient à L” (X, u), alors la famille {A (x)} 
détermine par la formule (2) un opérateur décomposable À avec la 
norme || À Îx = | @Îl zox, uy° 

Un cas particulier d'opérateurs décomposables est celui des 
opérateurs diagonaux, pour lesquels tous les À (x) sont des scalaires : 
A (x) = a (x)-1. 

Il est évident que les opérateurs décomposables forment une 
sous-algèbre Z dans $ (H), tandis que les opérateurs diagonaux 
forment une sous-algèbre commutative Z dans .Z. 

Si X est un compact et u est une mesure régulière sur X, nous 
noterons alors Z, la sous-algèbre de Z composée d'opérateurs diago- 
naux continus (pour lesquels a (x) est une fonction continue). Nous 
supposerons que supp u — À. 
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Soient À un espace hilbertien séparable quelconque, Z une 
sous-algèbre dans $ (A4), D une sous-algèbre commutative de .Z et 
T, une sous-algèbre de Z. 

Théorème 1. Les sous-algèbres À, D et D, peuvent jouer 
le rôle de sous-algèbres décomposables, diagonales et diagonales conti- 
nues pour une certaine réalisation de H en forme de somme continue 
d'espaces hilbertiens, si et seulement si les conditions suivantes sont 
satisfaites : 

1) Z est fermée dans la topologie forte (ou, ce qui revient au même, 
dans la topologie faible) opératoire; 

2) D coïncide avec le centre de À; 

3) D, est fermée pour la norme et dense dans D par rapport à la 
topologie forte (ou, ce qui revient au même, faible). 

Pour la démonstration, il est commode de se servir de la notion 
d’algèbre de von Neumann. 

L'algèbre symétrique À d'opérateurs dans un espace hilbertien A 
s'appelle algèbre de von Neumann si une des conditions équivalentes 
ci-dessous est satisfaite. 

1) À contient l'unité et est faiblement fermée, 

2) À contient l'unité et est fortement fermée, 

3) À coïncide avec son bicommutant. 

Rappelons que l’on appelle commutant d'une algèbre À l’en- 
semble A! de tous les opérateurs permutables aux opérateurs de À 
et bicommutant c'est le commutant du commutant !). Il est évident 
que la condition 3) implique 1) et la condition 1) implique 2). 
Montrons que 2) implique 3). 

Il suffit de vérifier que si À contient l'unité, alors A!! — (X')' 
coïncide avec l’adhérence forte de A. Soient À € A!!' et E,, ..., En 
une famille finie quelconque de vecteurs de Æ. Il nous faut vérifier 
que, pour un & => 0 quelconque, il existe un opérateur 4, € Y tel 
que || AOË; — AË; [| Ke pour i = 1, ..., n. Considérons d’abord 
le cas n = 1. 

Soit £ le sous-espace fermé de Æ engendré par les vecteurs de la 
forme A,Ë, 4, € A. L'opérateur P de projection orthogonale sur Æ 
se trouve dans A! (parce que E est invariant par rapport à A). Par 
conséquent, P permute à l'opérateur À E A". Nous avons donc 
AË — AP; = PACE, ce qu'il fallait démontrer. Le cas général 
se réduit au cas considéré de la manière suivante. Considérons l’algè- 
bre A — A @ on dans H—H@C HE... AH (n ter- 


mes). 


Problème 1. Soit % une algèbre symétrique d'opérateurs dans 
l’espace hilbertien Æ,. Soit H, un autre espace hilbertien quelconque; alors 


1) Pour éviter toute confusion avec l’espace topologique adjoint de A, nous 
avons choisi le symbole A! au lieu de la notation usuelle %’ du commutant de 
l'algèbre %’. 
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pour les algèbres d'opérateurs dans le produit tensoriel hilbertien 4, @ H: 
nous avons les relations suivantes 


AQir) DA @B(H2 (AD B (A2) =X Qi 


Indication. Utiliser l'écriture du produit tensoriel d'opérateurs 
en forme de matrice (voir 3.4). 


Ainsi, dans notre cas (À)! = A! @ {çn. En appliquant au 


vecteur (E,, ..., &) € H l'affirmation démontrée plus haut on 
obtient la démonstration dans le cas général. 


Problème 2. Si À est une algèbre de von Neumann, alors son centre 
Z (A) coïncide avec le centre Z (X') de l’algèbre %X! et avec l'intersection 
ana. 


Par conséquent, les conditions du théorème 1 peuvent être for- 
mulées comme suit : 

D, est une C*-algèbre commutative d'opérateurs, et 7 = Z}, 
D'= D". 

Démontrons la nécessité de ces conditions. Il est évident que 
D, est fermée pour la norme, puisque la norme d’un opérateur de 
multiplication par une fonction a (x) continue dans ZL?(X, u) est 
égale au maximum de la valeur absolue de a sur supp u = X. 

Soit À € Z;. Démontrons que À est un opérateur décomposable. 
Puisque À est permutable à la multiplication par toutes les fonctions 
continues, il l’est également par rapport à leurs limites faibles, et, en 


particulier, à la multiplication par les fonctions mesurables bornées. 
Soit 


H= | H.dn(o 
X 


et X;, est un sous-ensemble pour un certain k — dim À... 

L'opérateur À permute à la multiplication par les fonctions 
caractéristiques des ensembles X,. Ceci permet de réduire le pro- 
blème au cas où X — X4. 

Dans ce cas, tous les espaces A, peuvent être identifiés avec 
un espace lixe L, et l’espace À avec un produit tensoriel hilbertien 
L @ L?'(X, pu). Soit e,, ..., e, une base de Z. Nous allons démon- 
trer qu'il existe des fonctions mesurables a;; (x) telles que l’opéra- 
teur À agit suivant la formule 


Aïe @ f(x) De; @ a(x) f (x). (1) 
J 
Définissons a;; (x) à partir de la relation 


A (e; & 1) — 285 ® aij;(x). (2) 
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(Remarquons que chaque vecteur de L @ L?(X, u) a la forme du 
membre droit de l'égalité (2).) 

Alors, l'égalité (1) découle de (2) et du fait que À est permutable 
à la multiplication par f(x). Par conséquent, 7 = Z;}, et donc 
RDS 

Supposons maintenant que À € Di! = Z'. Puisque 3, € Dj, 
nous avons D! Di =. Donc À est décomposable et, par 
conséquent, est engendré par une famille de fonctions {ais (x) }. 
L'opérateur À € Z' doit permuter aux opérateurs décomposables 
B;,1, engendrés par la famille 


: { 1 pour ik, j—l. 
A 0 dans le cas contraire. 

On obtient donc que a;; (x) = 0 presque partout pour i £ j 
et que a;; (x) = a;; (x) presque partout pour i et j quelconques. 
Mais cela veut dire que À est un opérateur diagonal, c’est-à-dire 
que Di =. 

Pour démontrer la deuxième partie du théorème, il suffit d’appli- 
quer à l’algèbre Ÿ, le théorème 1 de 4.4 et de remarquer que l’espace 


des représentations Œy,n est une somme continue | H, du (x), 
x 
où À — M(Z,) et dim H, = n (x). 

Le théorème est démontré. 

L’algèbre de von Neumann Ÿ s'appelle algèbre de type I, si elle 
est isomorphe (comme C*-algèbre) à l’algèbre de tous les opérateurs 
décomposables en une certaine somme continue d'espaces hilbertiens 
| H,du (x). Cette algèbre est désignée par | S (Æ,) du (x) et 
à X 
appelée produit continu des algèbres Ÿ (H,). 

L'’algèbre À de type I s’appelle homogène de degré n si dim H, = n. 
Autrement dit, une algèbre uniforme de type I et de degré n est 
isomorphe à l’algèbre de toutes les fonctions mesurables essentielle- 
ment bornées sur un certain espace X à mesure u qui admettent 
dans l’algèbre $ (A4) les valeurs de tous les opérateurs bornés dans 
un espace hilbertien } de dimension n. 


Problème 3. Si X se compose d’un ensemble fini ou dénombrable de 
points de mesure positive, alors l’algèbre A — | $ (IT,) du (x) est isomorphe 
au produit (dans la catégorie des C*-algèbres) de la famille d’algèbres 8 (,), 

x € V. 

Indication. Notons p, l'application qui fait correspondre à chaque 
fonction opératoire sa valeur au point x € X. Montrer que la collection {p,} 
est une famille de projections canoniques de Y sur 8 (H,). 


Problème 4. Montrer que chaque algèbre de type I est isomorphe 
à un produit d’algèbres homogènes. 
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Indication. Soit X — [] X, la décomposition de X en ensembles 
k 
de valeurs constantes des fonctions n (x) — dim H,. Démontrer que A est un 


produit d’algèbres %, = | S (H,) du (x). 
XR 


Dans ce qui va suivre, il nous faudra connaître la classification 
des algèbres de type I à un isomorphisme spatial près (voir 4.4). 
Soient {H,} et {L,} deux familles d'espaces hilbertiens sépara- 


bles sur l’espace X à mesure u. Dans l’espace V — | H, © L,du (x) 


x 
considérons l’algèbre de tous les opérateurs décomposables de la 
forme À = {4, @ 1}, A,€ S (H,). Désignons cette algèbre par 
| 8 (1,) © 1 du (x). Il est clair qu'elle est isomorphe à un produit 
x 
continu | $ (Æ,) du (x). 


X 
Théorème 2. Chaque algèbre de von Neumann À isomorphe 


(comme C*-algèbre) à un produit continu | $ (,) du (x), est spatiale- 


ment isomorphe à l'algèbre [5 (H,) @ du (x) dans l’espace 
x 


| H, ® L,du (x). 


X 
Démonstration. Notons avant tout qu'il suffit de consi- 


dérer le cas d’une algèbre homogène de degré n. En effet, soient 
À — [l YA, la décomposition de Ÿ en un produit de composantes 


Horn et Æ}, un élément de À défini par les conditions 
E À si j —k, 
Pi =, si jLk. 


Alors {E,} est la famille des idempotants orthogonaux (cf. avec 8.3) 
qui engendre la décomposition de V en une somme hilbertienne de 
sous-espaces V, = E,V, de sorte que la restriction de À à V, soit 
isomorphe à %},. 

Ainsi, nous pouvons admettre que % est homogène de degré 
n et isomorphe à l’algèbre des fonctions opératoires sur X à valeurs 
dans Ÿ (4), dim H — n. 

En appliquant le théorème 1 à la sous-algèbre C (X) & À (qui 
joue le rôle de Z,), on peut considérer que l’espace V, où agit Y, 


est de la forme V = | Vidv (x). 
i 
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Problème 5. Démontrer que la mesure u est équivalente à la mesure pu 
qui figure dans la condition du théorème 2. 


Indication. Les algèbres L® (X, u) et L®° (X, v) sont toutes deux 
isomorphes à D}. 


Dans ce qui va suivre, nous supposons v = u. Choisissons une 
base {£;} dans Z7 et notons E;4 l'élément de Ÿ qui correspond à la 
fonction constante sur X, dont la valeur est l'opérateur e;4 transfor- 
mant Ë; en £, et annulant les autres vecteurs de la base. 

Des relations 


Ei;En=ô;rEu, D Eu= 


il découle que, pour presque tous les x € X, il existe une décompo- 
sition V, — ©® VË telle que les opérateurs (Æ£;;), sont des projecteurs 
k 


sur les sous-espaces Vi, et (E;;:), engendre un isomorphisme de 
VE sur V?. Soit L, un espace hilbertien isomorphe à chacun des 
espaces Vi, à — 1, 2, ..., n. Alors V, s’identilie avec Æ, @ L, 
et l'opérateur (£;:,), avec l'opérateur e;, © 1. 

Le théorème se déduit maintenant sans difficulté. 


Problème 6. Démontrer que 


({sw@tat)) 1981429 a (0. 
X X 


Corollaire. Si X est une algèbre de type I, alors X' 
l'est aussi. 

Une algèbre de von Neumann s'appelle algèbre facteur, si son 
centre est composé d'opérateurs scalaires. Les résultats précédents 
peuvent être reformulés de la manière suivante. Chaque algèbre 
facteur de type I est isomorphe. (comme C*-algèbre) à l'algèbre 
8 (AT) de tous les opérateurs bornés dans un certain espace hilbertien 
H et spatialement isomorphe à l'algèbre $ (4) @ 1 dans un certain 
espace de type 4 @ L; chaque algèbre de von Neumann de type I 
est spatialement isomorphe à un produit continu de facteurs de type I. 

Pour des renseignements plus poussés sur la théorie des algèbres 
de von Neumann voir les livres [15] et [44]. 
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5.1. Variétés. On appelle variétés les ensembles qui ressemblent 
localement aux espaces euclidiens. Cette propriété des variétés 
permet d'y introduire des systèmes de cordonnées locales et d'utiliser 
l'appareil de l'analyse mathématique. La définition exacte d’une 
variété est la suivante. 

Un espace topologique M s'appelle variété, si, pour chaque point 
z EM, il existe un voisinage U homéomorphe à un sous-ensemble 


$ 5. ANALYSE SUR LES VARIÉTÉS 75 


ouvert de R”. Le nombre n s'appelle dimension de la variété M 
au point x. 

Le fait que cette définition est correcte découle du théorème 
de topologie bien connu: 

Un sous-ensemble ouvert non vide de R° ne peut être homéomorphe 
à un ouvert de KR” pour n =£ m. 


Problème 1. Démontrer que chaque variété connexe possède en chaque 
point la même dimension. 


On appelle système de coordonnées local, ou plus brièvement, 
carte, sur une variété M tout ouvert U € M muni d’un homéomor- 
phisme « de cet ensemble sur un ouvert de R”. Les coordonnées 
du point œ(x) ER” s'appellent coordonnées locales du point 
x EU. 

Un ensemble de cartes qui recouvre toute la variété M 
s'appelle atlas. 

Exemple 1. La longitude et la latitude géographiques sur la 
surface de la sphère. Ici M est une sphère unité dans R°, définie 
par l'égalité x? + y? + z? — 1, U.est le domaine obtenu en élimi- 
nant de la sphère le méridien y — 0, x < 0. L’homéomorphisme 
« envoie le point (x, y, z) E M dans (®, w) € R° par les formules 


x = COS @ COS Ÿ, y = sin cos Ÿ, Z = Sin , 
de sorte que le domaine U soit envoyé dans un rectangle ouvert 


[pl<x, |p|<x/2 de R?. 


Exemple 2. Projection stéréographique de la sphère sur le 
plan. Ici U s'obtient en éliminant de M le point (0, O0, 1). L'homéo- 
morphisme « envoie chaque point (x, y, z) € M dans un point 
(u, v) E R? suivant les formules 

__ 2x 2y 


7 1—2 ? 1—2 ° 


Exemple 3. Considérons pour M la surface du cube dans 
R° défini par les inégalités | zx | <1,|y | <1,12z| 1. Définissons 
sur M un atlas de huit cartes, en prenant pour l/; l'étoile du i-ième 
sommet, c’est-à-dire la réunion de ce sommet, des trois arêtes ouver- 
tes qui en sortent et des trois faces ouvertes qui ont ces arêtes pour 
côtés. Pour l’homéomorphisme «a; prenons la projection de U; sur 
le plan perpendiculaire à la diagonale principale qui passe par le 
i-ième sommet. Il est évident que a; (U;) sera l’intérieur d'un 
hexagone régulier dans R°. 

Dans ce qui va suivre, nous supposerons que toutes les variétés 
considérées sont des espaces de Hausdorf et possèdent une base 
dénombrable d’ensembles ouverts. 
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Comme exemple de variété non séparée, considérons l’espace obtenu en 
collant deux exemplaires de la ligne droite numérique le long d’une demi-droite 
ouverte. Cet exemple peut être généralisé en prenant quelques variétés « usuelles » 
de même dimension et en les collant le long de quelques ouverts. 

Comme exemple de variété sans base dénombrable, citons la droite dite 
d’À lexandrov. Soit T l’ensemble de tous les transfinis dénombrables (c’est-à-dire 
des classes d'équivalence des ensembles totalement ordonnés dénombrables). 
Dans le produit 7 X [0, 1) = À, on peut définir un ordre lexicographique: 
(é1s 21) << (to, To) Si dt to, OU ét = 19 et x 1 < x. La base de la topologie de À 
forme les intervalles 


T(b,c)={at A; b<a<c}et 1(b}={atA; a >b}. 


On dit que l'application @ d’un ouvert U € R” dans l’espace 
R" appartient à la classe C*, k — 0, 1, 2, ..., ©, &, si les coor- 
données du point (x), considérées comme fonctions du point x, 
possèdent k dérivées continues (sont, respectivement, continues 
pour k = 0, infiniment différentiables pour 4 — © et analytiques 
pour À = &). 

Soient (U, a) et (V, 6) deux cartes de la variété M. Nous dirons 
que ces cartes sont k-différentiablement liées, si les applications &of "1 
et Boa-l appartiennent à la classe C*. 

Nous supposerons que les conditions de la définition sont satisfai- 
tes lorsque U fN] V = @, c’est-à-dire deux cartes disjointes sont 
k-différentiablement liées pour £ quelconque. 

La variété M s'appelle variété différentiable de classe C", si elle 
possède un atlas À, dont toutes les cartes sont k-différentiablement 
liées. On appelle carte admissible sur M toute carte k-différentiable- 
ment liée à toutes les cartes de À. 


Problème 2. Démontrer que deux cartes quelconques sur la sphère 
dans les exemples 1 et 2 sont w-différentiablement liées entre elles. 

Problème 3. Démontrer que les cartes U, et VU; sur la surface du cube 
dans l’exemple 3 sont k-différentiablement liées entre elles, où; 


—0 si les i-ième et ;-ième sommets sont les extrémités d’une 
k = diagonale d’une face, 
— « dans les autres cas. 


Si M et N sont des variétés de la classe C*, alors on peut con- 
sidérer les applications /-différentiables de M dans N pour L << k. 
A savoir, nous noterons C! (M, N) l'ensemble de toutes les applica- 
tions : M — N telles que, pour des cartes admissibles quelconques 
(U, a) sur M et (V, B) sur NW, l'application fepea-t appartient 
à la classe C. 

En particulier, C! (M, R) ou simplement C! (M) est l’ensemble 
de toutes les fonctions réelles /-différentiables sur M; C'(R, M) 
est l’ensemble des courbes /-différentiables sur 1. 

Une bijection @: M — N s'appelle difféomorphisme, si ® et 
sont des applications différentiables. On dit alors que W et N sont 
difféomorphes. 
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Il est connu que toute variété de dimension inférieure à 7 admet une seule 
structure de variété différentiable. (Nous rappelons que toutes les variétés con- 
sidérées sont à base dénombrable. On sait que sur la droite d’Alexandrov la 


C® -structure n’est pas unique.) La sphère S7 de dimension 7 possède plusieurs 
structures différentiables et, parmi les variétés de dimensions 8, il y a celles qui 
n’admettent aucune structure différentiable. 


Citons quelques exemples de variétés différentiables. On démontre 


facilement que les espaces numériques R” et C”, la sphère S? € R°*1 
n+1 
(donnée par l’equation D x$ — 1), le tore T° & C”* (donné par 


ue 
les équations | 2; | = 1, à — 1, ..., n) sont tous des C®-variétés. 
Si M et N sont des variétés différentiables, leur produit M x N 
l'est aussi, si pour atlas de M X N on prend l’ensemble de toutes 
les cartes de la forme (U X V, &« X B), où (VU, «) et (V, B) sont 
des cartes admissibles de M et de N. La variété M X N'est le produit 
de M et N dans la catégorie des variétés différentiables (les morphis- 
mes étant des applications différentiables). 

Exemple 4. L'espace réel projectif RP” est l’ensemble de 
toutes les droites passant par l’origine des coordonnées dans R'*!. 
La base d’ouverts dans RP” est formée par les ensembles de droites, 
qui possèdent une intersection non vide avec un certain ouvert 
de R**#1,. Montrons qu'on peut munir RP" d’une structure de C°-va- 
riété. Une droite de RP” se définit par un vecteur-directeur (a;, . .., 

..; Anti), OÙ les nombres a; ne sont pas tous nuls et sont définis 
à un facteur numérique commun près. Désignons par U; l’ensemble 
de toutes les droites pour lesquelles a; =£ 0 et définissons le homéo- 
morphisme @;: U;— KR", envoyant la droite à vecteur-directeur 
(ay, - . -, An+1) dans le point 

(= in Gin An+#1 | CR? 
RS TR arr der | 

Problème 4. Vérifier que la famille {(U;, &;)} est un atlas de cartes 

sur RP? liées o-diflérentiablement. 


Voici encore un exemple de caractère plus général. 
Exemple 95. Soit Gr k l’ensemble des sous-espaces de dimen- 


sion Æ dans un espace réel de dimension nr. Un élément de Gr k 
est engendré par un système de Æ vecteurs linéairement indépen- 
dants 


E:—(Ëi, ..., E;), i=1, ua, 
c'est-à-dire se détermine par la matrice & — || E? | d'ordre £X n 
et de rang #. Il est évident que les matrices E et ©” définissent 


un même élément de GR ,, si &’ — CE, où C est une matrice non 
dégénérée d'ordre k X k. 
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Soit J = {j,, ..., jk} un sous-ensemble de {1, 2, ...,n}. 
Notons U; le sous-ensemble de Gr 2, dont les éléments se détermi- 


nent par les matrices E pour lesquelles det [| Ë [l;ar 7£ 0. Rempla- 


çant & par Æ’ — CE, nous obtiendrons les égalités 


En 0 pour mr, 
5 | 4 pour m=—r. 


Les autres éléments Ë;, j € J de la matrice définissent une applica- 
tion de U, dans R*°-*, que nous noterons «y. 


Problème 5. Démontrer que la famille {(Uy, &y)} est un atlas de 
cartes de GR k o-différentiablement liées. 


Problème 6. Démontrer que GR k et GÀ n—2 Sont difféomorphes. 

Les variétés Gr k S’appellent variétés grassmaniennes réelles. On 
peut définir de la même manière des variétés grassmaniennes com- 
plexes GS ke 

Une classe importante de variétés s'obtient de la façon suivante. 
Soit f1, - - ., fm une famille de fonctions k-différentiables, définies 
dans un domaine U € KR”. Notons M l’ensemble de toutes les solu- 
tions du système 


fi (@) =... = fm @) = 0. 


Par la suite nous aurons besoin du fait suivant de l'analyse 
découlant du théorème des fonctions implicites. | 

Théorème 1. Supposons que dans le voisinage de l’ensemble 
M le rang de la matrice F (x) = || df; (x)/dx; || soit une constante r. 
Alors, l’ensemble M admet une seule structure de variété k-différentiable 
de dimension n — r telle que: 

1) Les restrictions sur M des fonctions de C*(U) appartiennent 
à C* (M); 

2) pour carte admissible dans le voisinage du point x EM on 
peut prendre la projection de ce voisinage sur un plan de dimension 
(n — r) quelconque, transversal aux vecteurs-lignes de la matrice F (x) 
(c'est-à-dire sur un plan ne contenant aucune combinaison linéaire non 
nulle de lignes de F'(x)). 

Exemple 6. Soit Mat, (Æ) l'ensemble de toutes les matrices 
d'ordre n à éléments de X. Dans les exemples concrets qui vont 
suivre, À est soit le corps R des réels, soit le corps C des nombres 
complexes, soit le corps H des quaternions. Si À € Mat, (K), alors 
A' est la matrice transposée aux éléments ai; = a;;. A* est la matrice 
conjuguée aux éléments af; = &;; (le petit trait indique la conjugai- 
son complexe ou quaternionienne). 
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Nous noterons GL (n, k) le sous-ensemble ouvert de Mat, (K} 
défini par la condition det À 0 ?). 

Soit À E Mat, (Æ). Considérons dans GL (n, k) les sous-ensem- 
bles définis par les équations: 


X-14AX = À, (1) 
X'AX = À, (2) 
X*AX = A. (3) 


Chacune de ces équations matricielles est équivalente à un système 
de nr? équations usuelles à nr? inconnues qui sont les éléments x;; 
de la matrice X. 


Problème 7. Démontrer que les applications ci-dessous de GL (n, k) 
dans Mat, X ont un rang fixe 


XF X-1AX — À, 
X+-> X'AX — A, 
Xr> X*AX — À. 


Indication. Démontrer que si C € GL (n, k), alors les applications 
X->CXetX > XCsont des difféomorphismes de Mat, (Æ). Utiliser ensuite 
le fait que le rang d’une application ne change pas par sa composition avec un 
difféomorphisme. 


Du problème 7 et du théorème 1 il s'ensuit que les sous-ensem- 
bles donnés par les équations (1), (2), (3) sont des variétés différen- 
tiables. Notons quelques cas particuliers de cette construction. 

Soit 14, une matrice unité d'ordre n. 

L'équation (2) définit pour À = 1, l’ensemble O (n, k) des 
matrices orthogonales (K = KR ou C). L’équation (3) définit pour 
A = 1,, KÀ = C l’ensemble U (n) des matrices unitaires. Si À est 


0 1, 
_4. 0] alors 
l'équation (2) définit l’ensemble Sp (2n, K) des matrices simplecti- 
ques (K = KR ou CO). 
1 


Problème 8. Démontrer que si À = R et 4 — 1. ei EMat,, (R), 


alors l’équation (2) définit l’ensemble © (2n, R) N Sp (n, R); homéomorphe 
à U (n). 

Indication. Considérer l'application de Mat, (C) dans Mat,, (R) 
donnée par la formule 


x+ire (2 


une matrice antisymétrique d'ordre 2n de la forme 


}: X, Y E Mat, (R). 


0 

Si À= à. ! | , l'équation (2) définit pour À = R l’ensemble 
—1g 

O (p, g) des matrices pseudo-orthogonales de type (p, g). Pour la 


1) Pour déterminer det À dans le cas À = H on peut servir des inclusions 
de H dans Mat, (C) ou dans Mat, (R) (voir 3.2). 
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même matrice À l’équation (3) définit, si À = C, l’ensemble U (p, q) 
des matrices pseudo-unitaires de type (p, q), et, si À = H, l’ensemble 
Sp (p, g) des matrices pseudo-simplectiques de type (p, q). 

Disons que deux cartes (U, «) et (V, 6) de la variété M sont 
liées positivement, si l'application «B-! possède un jacobien positif 
dans tout le domaine de définition. Un atlas s'appelle positif s’il 
est composé de cartes positivement liées. Deux atlas positifs sont 
équivalents si leur réunion est un atlas positif. 


Problème 9. Démontrer que pour toute variété connexe M, le nombre 
de classes d'équivalence d’atlas positifs soit nul, soit égal à 2. 


Dans le premier cas, la variété M s'appelle non orientable, dans 
le second orientable, et le choix de l’une de ses deux classes d’atlas 
positifs s'appelle orientation de M. 


Problème 10. Pour quels n et k la variété Ga, 4 est-elle orientable? 


Réponse. Pour les n impairs (5 0<k<n). 


On peut se donner une structure de variété différentiable de 
dimension k sur un espace topologique M d’une autre manière: 
en associant à chaque sous-ensemble ouvert U & X l'anneau CU 
des fonctions k-différentiables sur U. Il est évident que l’application 
Ur+> C*(U) définit un foncteur contravariant de la catégorie des 
ensembles ouverts (les morphismes sont les inclusions) dans la 
catégorie des anneaux. Ces foncteurs s'appellent préfaisceaux (plus 
exactement, préfaisceaux d’'anneaux ; on définit d’une manière analo- 
gue les préfaisceaux de groupes, d’algèbres, d'ensembles, etc.). 

Un préfaisceau F s'appelle faisceau, si pour tout ouvert UE X 
et pour son recouvrement quelconque par sous-ensembles ouverts U,, 
a € À on a la suite exacte: 


0 F(U) = IL (Ua > Fr (Ua NU), (4) 


où le morphisme i correspond aux inclusions de U, dans U et le 
morphisme jÿ est la différence des morphismes qui correspondent 
aux inclusions de U, NA U, dans U, et dans Ua. 

L'exemple du préfaisceau U > C* (U) (qui est un faisceau) 
permet de se convaincre intuitivement de l’exactitude de cette 
suite. À savoir, l'exactitude au premier membre veut dire que chaque 
fonction différentiable sur U est entièrement définie par ses restric- 
tions à U,, «a € A; l'exactitude au deuxième membre signifie que 
si chaque U, est muni d’une fonction différentiable f,, telle que, 
sur l'intersection U, N Us, les fonctions f, et fs coïncident, alors 
toutes les f, s’obtiennent par restriction d’une seule fonction diffé- 


rentiable f sur U. 
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L'espace topologique X muni d’un faisceau d’anneaux © s'appelle 
espace annelé, et le faisceau © s'appelle alors faisceau structural. 

La définition d’une variété différentiable peut maintenant être 
formulée de la manière suivante. 

Une variété de classe C” est un espace annelé (X, ©) localement 
isomorphe à une boule ouverte de R° munie d’un faisceau de fonctions 
k-différentiables. 

Si, dans cette définition, on remplace R” par C”, et le faisceau 
des fonctions k-différentiables par un faisceau de fonctions holo- 
morphes (c'est-à-dire complexes analytiques), nous obtenons la 
définition d’une variété complexe. 


Notons que la construction générale des espaces annelés permet de définir 
également la notion classique de variété algébrique sur un corps ÆX (le modèle 
local est un sous-ensemble de X?, défini par un système d’équations algébri- 
ques, muni d’un faisceau de fonctions rationnelles partout et défini de la topo- 
logie de Zariski), ou bien son analogue moderne — la notion de schéma sur un 
corps ÆÀ (le modèle local est l’ensemble des idéaux simples d’une certaine 
K-algèbre). 


Considérons l’espace annelé (X, ©), localement isomorphe au 
voisinage de zéro de l’espace L = R* @ C!, muni d’un faisceau 
de fonctions infiniment différentiables par rapport à leurs coordon- 
nées réelles dans R* et holomorphes par rapport aux coordonnées 
complexes dans C!. 

Nous appellerons un tel espace (X, ©) variété mixte de type 
(k, 1), s’il existe une variété Y réelle différentiable de dimension k 
et une application p: X — Ÿ, telles que chaque « fibre » pt (y), 
y € Ÿ est une variété complexe de dimension / et le faisceau structu- 
ral © sur XÀ se compose de fonctions différentiables, holomorphes 
le long de chaque fibre. 


Problème 11. Démontrer que l’espace Y et la projection p se détermi- 
nent uniquement par (X, (O). 


Indication. Soient © le faisceau de fonctions conjuguées complexes 


avec les fonctions de (9, À l'algèbre © (X)N © (X). Alors Y = (4) et 
p est l’application naturelle de X dans Ÿ, faisant correspondre à chaque point 
zx € X l'idéal p (x) € À de toutes les fonctions nulles en x. 

Problème 12. Soit (X, ©) l’espace annelé quotient de ZL — RÀ @& C! 
par un groupe discret l de translations dans Z. Démontrer que (X, (9) sera une 


variété mixte si et seulement si la projection T, du groupe T sur le groupe de 
translations de RÂ est discrète. 


Indication. Supposons 4—(O(X)"n © (X). Vérifier que À est 


isomorphe à l’algèbre des fonctions différentiables sur RÈ, invariantes relative- 
ment à [. 


9.2. Champs de vecteurs. Une des notions fondamentales de la 
théorie des variétés différentiables est celle de vecteur tangent dont 
le sens intuitif est la vitesse d’un point mobile sur la variété. Une 
définition exacte peut être formulée comme suit. Appelons courbe 


6—0361 


82 PREMIÈRE PARTIE. NOTIONS PRÉLIMINAIRES 


différentiable sur la variété M toute application différentiable de R 
dans M. Désignons par la lettre # le paramètre de R et par x un 
point quelconque de la variété. Une courbe différentiable x (t) 
se définit dans le voisinage du point x, = x(t,s) par une famille 
de n — dim M fonctions différentiables x' (f) (coordonnées locales 
du point x (f) dans une certaine carte contenant le point x,). Nous 
dirons que la courbe x (f) est issue du point x,, si x (0) — x,. Nous 
appellerons deux courbes différentiables x (4) et y(t), issues du 
point Zz,, équivalentes, si |x°(t) — y" (t) | — o(t) pour &4 — 0, 
=), 2) 52m: 

Il est aisé de vérifier que cette définition de l’équivalence ne 
dépend pas du choix de la carte contenant le point x,. 

On appelle vecteur tangent à la variété M au point x, la classe 
d'équivalence des courbes différentiables issues du point x,. 

L'expression « X est un vecteur tangent à la courbe x (t) pour 
t — O0» ou la notation X = x’ (0) signifient que la courbe x (#) 
appartient à la classe X. 

Choisissons une carte (U, «) quelconque pour laquelle le point 
x, est l’origine des coordonnées et supposons, pour simplifier, que 
a (U) — R". L'ensemble des courbes différenciables sur U est un 
espace vectoriel par rapport à l'opération d’addition par coordonnées 
et de multiplication par les nombres: 


(x + y) (6) = 2° (6) + y° (6), (x) (D = x (D). 


Problème 1. Vérifier que ces opérations s'accordent à la relation 
d'équivalence dans le sens ci-dessus et définissent donc une structure d’espace 
vectoriel (sur R) dans l’ensemble T,M de tous les vecteurs tangents à la variété A7 


au point x. 
Problème 2. Démontrer que la dimension de l’espace T,M et celle 


de la variété M au point x sont identiques. 


Bien que la définition des vecteurs tangents introduite plus 
haut s’accorde bien avec l’idée intuitive de vitesse, elle présente 
quand même certains inconvénients. Ainsi, par exemple, la défini- 
tion de la somme de vecteurs tangents et du produit d’un vecteur par 
un nombre est basée sur les coordonnées locales. 

Nous donnerons maintenant une autre définition, sans recourir 
aux coordonnées locales. Remarquons pour cela que chaque courbe 
différentiable x (£) issue du point x, définit une forme continue F 


sur l’espace C°”° (M) par la formule 
d 
FD= ie (1) 


Problème 3. Démontrer que deux formes ci-dessus (1) coïncident si 
et seulement si les courbes correspondantes sont équivalentes. 


Par conséquent, à chaque vecteur tangent X correspond la forme 
F généralement appelée dérivée le long du vecteur X. 
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Problème 4. Démontrer que la forme 7 sur C® (M) peut être repré- 
sentée pour une certaine courbe x (+) issue de x, par la formule (1) si et seulement 
si les fonctions f, et f, de C® (M) quelconques satisfont à l'égalité 


F (faite) = F (fs) fe (to) + 1 (to) F (fo). (2) 


Ces résultats montrent que la définition du vecteur tangent 
ci-dessus équivaut à la suivante. 

On appelle vecteur tangent à la variété M au point x, toute forme 
linéaire de C”” (M), qui satisfait à la condition (2). 

La structure d'espace vectoriel s’introduit d’une manière évidente. 
dans l’ensemble des vecteurs tangents, dans le sens de cette défini- 
tion, puisque les formes s'ajoutent et se multiplient par les scalaires. 
très naturellement. 

Pour les calculs pratiques avec les vecteurs tangents il est utile 
d'introduire des coordonnées dans l’espace T,.M. 

Soit (U, x) une carte quelconque sur M. Pour tout point x € U 
on peut définir n vecteurs tangents d/0x!, . .., 0/0x", en définissant 
les formes correspondantes comme les dérivées partielles par rap- 
port aux coordonnées locales du point x. 


Problème 5. Démontrer que pour chaque point x € U les vecteurs 
dlOxi, i = 1, ..., n forment une base dans l’espace T,M. 


Les coordonnées du vecteur & € T,.M dépendent donc du choïx 
de la carte. Si U et V sont deux cartes qui recouvrent le point x, 
l’espace T,M se trouve muni de deux bases {d/0x°}, {@/ôy'}, où 
{x'}, {y'} sont les coordonnées locales de ces cartes. 

La matrice de transformation d’une base dans l’autre est de la 
FE puisque _ L Ds: On prend souvent cette: 
loi de transformation pour définition du vecteur tangent. 

D'après cette définition on appelle vecteur tangent à la variété M 
au point x une application qui fait correspondre à chaque carte 
U 3x la famille des nombres {£' (U})}, telle que si {x°} sont les 
coordonnées locales de U et {y'} les coordonnées locales de V, alors 


EQU)= DE (V). (3) 


J 


forme a; = 


Soient maintenant M et N deux variétés différentiables et f: M —- 
—+ N une application différentiable. L'ensemble des courbes dif- 
férentiables issues du point x € M est envoyé, par l'application f, 
dans l’ensemble des courbes différentiables issues du point y — 
— f(x) EN. On vérifie aisément que des courbes équivalentes se 
transforment dans des courbes équivalentes. Nous obtenons doné 
une application f, (x): TM — T,N. 


G* 
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Problème 6. Démontrer que f, est une application linéaire et cal- 
culer sa matrice par rapport aux bases {d/0xt} dans T,M et {0/0yi} dans T,N. 
Problème 7. Si M, N, L sont trois variétés différentiables et j: 
M — N,g:N — L deux applications différentiables, alors 
(gof)x = Lxofxe 
C'est la loi dite de la chaîne pour calculer les dérivées partielles 
d’une fonction de fonctions. En mettant chaque application sous 
sa forme matricielle par rapport aux bases naturelles, nous obtenons 
la forme usuelle de la loi de la chaîne: 


Ozi _ Ozi  Oyi 

ES D Oui ôzh 

J 

L'application f, (x): TM — T,N s'appelle dérivée de l'appli- 

cation f: M—N au point x. Considérons le cas particulier où 

N =RKR. Vu que R possède une coordonnée canonique, tous les 

espaces 7 ,R s’identifient d’une façon naturelle à R. Donc, l’appli- 

cation dérivée f. définit une forme linéaire sur T,.M. Cette forme 
est désignée par df et appelée différentielle de la fonction Î. 

Si à chaque point de la variété M correspond un vecteur tangent 

à la variété en ce point, nous dirons que M est muni d’un champ 

de vecteurs. Dans un système de coordonnées locales un champ de 

vecteurs s'écrit sous la forme 


s= At (@ _ ; 


Ün champ de vecteurs £ s Fa différentiable, si ses coordonnées 
£* (x) sont des fonctions différentiables. Il est évident que la défi- 
nition du champ de vecteurs différentiable ne dépend pas du choix 
de la carte. | 

De même que les courbes différentiables font apparaître les 
vecteurs, les champs de vecteurs proviennent des applications de la 
variété sur elle-même. Soit @,: M — M une famille à un paramètre 
d'applications différentiables de la variété M. Nous supposerons 
que ; dépende différentiablement du paramètre { (c’est-à-dire que 
l'application R x M — M, définie par la formule (é, x) > @; (x), 
soit différentiable) et que pour { = 0 on ait l’application identique 
Po (x) = x. 

À chaque point x € M correspond alors une courbe différentiable 
x (&) = op; (x) issue de ce point et, par conséquent, un vecteur tan- 
gent zx’ (0). 

Nous avons obtenu un champ de vecteurs appelé dérivée de la 
famille +. 

On peut alors se demander si chaque champ de vecteurs est la 
dérivée d’une certaine famille d'applications? La réponse est posi- 
tive. Pour les variétés compactes on peut formuler une affirmation 
plus poussée. 
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Théorème 1. Chaque champ de vecteurs différentiable € sur 
une variété compacte M est la dérivée d’un certain groupe unidimen- 
sionnel {p;:} de transformation de M. 

Pour la démonstration considérons l'équation différentielle sur M : 


z'() = E(x()), zx (0) = x, (4) 
qui se met, dans un système de coordonnées locales, sous la forme 
d’un système 


Oxi î NE j , 
st Giesc) Ur: (4'} 


Un théorème bien connu de la théorie des équations différentiel- 
les garantit l’existence et la dépendance continue par rapport aux 
données initiales de la solution x (6, x,) de l’équation (4) dans un 
certain voisinage du point quelconque x, € M et pour un certain 
intervalle (—&, €) de variation de t (e dépend de x,). 

M étant compact, il existe donc un intervalle (—e,, &) de 
variation de £, où pour toute position de l’origine x, les solutions 
x (t, x0) sont définies. 


Problème 8 Démontrer que les applications 4 : ro — x (t, xo} 
satisfont à la condition 


Pro Ps — its 
pour les £ et s suffisamment petits. 


Indication. Vérifier que les courbes x, (f) = + (ps (x)) et ze (1) = 
— O4, (x) satisfont à (4) pour x, = q, (x) 


Les applications , pour | é | > €, se définissent d’après la loi 
de multiplication du groupe. Le théorème est démontré. 
Pour les variétés M non compactes, le théorème 1 est faux. 


Problème 9. Démontrer qu’au champ de vecteurs £ = (1 + x?) _. 
sur la droite ne correspond aucun groupe de transformations. 

Indication. Montrer que pour l’applicationzx+> y = arctg x la 
droite est transformée dans l'intervalle (— _ 5) et le champ Ë dans le champ 


2 D 
n = d/dy. 
Néanmoins, une proposition plus faible reste vraie. 


Problème 10. Soit 6 un champ de vecteurs sur la variété M. Démon- 
trer qu’il existe une fonction différentiable a sur M X R telle que: 


1) l'équation 
z'( = a(x, D É (x), x (0) — (9) 


possède une solution pour tous les x, € M et tous les t € R, 

2) pour chaque point x € M, il existe un & > 0, tel que a (x, t) = 1 pour 
[t|<e. 

Indication. Utiliser le fait que M possède une base dénombrable et, 
par conséquent, est la réunion d’un ensemble dénombrable de compacts. 
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Il est évident que le champ 6 est la dérivée d’une famille de 
transformations @;: zoo tt, to), Où æ (ft, x) est la solution de 
l'équation (9). 

Tout comme les vecteurs les champs de vecteurs admettent eux 
aussi une deuxième définition sans coordonnées locales. Il est à 
remarquer pour cela que chaque champ de vecteurs différentiable £ 
sur M définit l'opérateur linéaire dans C”(M) qui fait correspondre 
à la fonction f et au point x € M la dérivée de f le long du vecteur 
E (x). Désignons cet opérateur par la même lettre que le champ de 
vecteurs lui-même. 

De l'égalité (2), il découle que les opérateurs correspondant 
à un champ de vecteurs possèdent la propriété 


Ë (f1f2) = Éfi fo Tr fa fo. (6) 


_ Problème 11. Démontrer que chaque opérateur de Cæ (M) vérifiant 
(4) correspond à un champ de vecteurs différentiable. 


Ainsi, nous avons obtenu une définition équivalente d’un champ 
de vecteurs comme opérateur de C” (M). 

L'ensemble des champs de vecteurs admet en plus des opéra- 
tions usuelles des espaces vectoriels (addition et multiplication par 
les nombres) une autre opération importante — la commutation. 

On appelle commutateur de deux champs de vecteurs Ë et n le 
champ de vecteurs [E, nl défini par la formule 


[E, 1] = En — né. (7) 


Problème 12. Vérifier que l’opérateur (7) correspond cffectivement 
à un champ de vecteurs. 

Indication. Recourir aux résultats du problème 11. 

Problème 13. Supposons que dans une certaine carte 


: Ô à 0 
DE, n= Dit). 
i i 
Trouver l'expression du champ [E, n] dans cette même carte. 
: ; 0 
Réponse. [E, nl = > G° (x) =, où 


cit D (8500 OL ni ç) EC). 
j 


La dérivée de la fonction f le long d’un champ de vecteur £& 
et le commutateur des champs de vecteurs Ë et n sont des cas parti- 
culiers de l'opérateur de Lie Lz:, correspondant au champ de vec- 
teurs E. 
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Soit F un foncteur de la catégorie des variétés (les morphismes 
sont les homéomorphismes différentiables, que l’on appelle généra- 
lement difféomorphismes) dans la catégorie des espaces vectoriels 
topoligiques. Si £ est un champ de vecteurs sur la variété M et 
{p,} une famille de difféomorphismes de M, pour laquelle & est 
le champ dérivé, alors l’espace F (M) se trouve muni d’une famille 
de transformations linéaires FÆ (;). Le vecteur f € F (M) s'appelle 
différentiable le long du champ Ë, si laïonction vectorielle £+-—> F (®;) f 


est différentiable pour  — 0 et la dérivée + (F (qe) f) ko = Lef 


ne dépend pas du choix de la famille {w;}, pour laquelle Ë est le 
champ dérivé. 

Exem P le. Soit F, le foncteur contravariant donné par les 
formules: F, (M) = C" (M), k> 0, Fo) =fr fo. 

Alors, Lf = — É}; 


Problème 14. Soit F, un foncteur contravariant, qui fait correspondre 
à la variété M l’espace Vect M de tous les champs de vecteurs différentiables 
sur M et aux difféomorphismes q l'application F,(p):n > px;'ono (c’est-à-dire, 


LF, (@) nl (x) = 4 (x) 7! LA ei 
Démontrer que LEn — 
Indication. Dee l'identité 


Fo(e)nFo(p1)= F1 (@) (n) 
et l’égalité suivante qu’elle entraîne 


Le nf = (Lg (nf + n (Lef). (8) 


9.3. Formes différentielles. On appelle champ de tenseurs sur 
la variété M une fonction qui fait correspondre à chaque point 
x € M un certain tenseur sur l’espace T,M tangent à M au point x. 

Des cas particuliers de champs de tenseurs sont fournis par 
les fonctions (champs de tenseurs de rang 0) et les champs de vec- 
teurs (champs de tenseurs contravariants de rang 1). 

Si U est un système de coordonnées local sur M, alors on peut 
simultanément choisir dans tous les espaces tangents T,.M, x EU 
la même base d/0x!, . .., 0/0x" et dans tous les espaces T£ M la 
base duale dr, . , dé, 

La valeur du covecteur dx" sur le vecteur 4/0r° est égale au sym- 
bole de Kronecker 


O0 pour i£ j, 
Ô; -| — 
4 pour i—j. 
Chaque champ de tenseurs mixtes de rang (k, l) peut être décom- 
posé par rapport aux champs de base 


0 


UE Î d 
mr Q ... Q dx’!. 


Core 
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Un champ de tenseurs s’appelle différentiable, si les coefficients 
de sa décomposition par rapport aux champs de base sont des fonc- 
tions différenciables. Remarquons que cette propriété d’un champ 
ne dépend pas du choix du système (admissible) de coordonnées. 

Les champs de tenseurs covariants antisymétriques s'appellent 
formes différentielles. Les formes différentielles ont une structure 
d’algèbre non commutative par rapport au produit extérieur. De 
plus, l’espace des formes différentielles est muni d’un opérateur dit 
de différentiation extérieure, ou différentiel d, qui possède les pro- 
priétés : 

a) d (©, + &,) = do, + do, ; 

b) d (os /\ ©) = das À &2+ (—1)"o1 À de, (1) 


si ©, est une forme de degré k; 

c) l'opérateur d coïncide sur les formes de degré 0 (c’est-à-dire 
sur les fonctions) avec la différentielle usuelle (voir 5.2); 

d) dd = 0. 

Les propriétés ci-dessus définissent de façon unique l'opérateur 
d, vu que chaque forme ©, qui s’écrit en coordonnées locales de la 
manière suivante 


O= > dis à, (&) dat À dre, 


Us ses 1h 
doit vérifier les égalités 
do= 2 , dau... (e) dei À À dx) = 


os ce. Ÿp 
=. > dai, … i, \ da A... A dx'h car d (dx*) =0. 
Us se. ip 

Problème 1. Démontrer que l'application w ++ do, définie par la 
dernière égalité, ne dépend pas du choix du système de coordonnées locales et 
possède les propriétés (1). 

Il est évident que l'opérateur d augmente de 1 le degré de la 
forme différentielle. Si & est un champ de vecteurs sur M, on peut 
définir l'opérateur t (£), (qui diminue de 1 le degré de la forme 
différentielle) de la façon suivante. 

Soit w une forme de degré k, alors & (£) «© est une forme de degré 
k — 1, qui prend sur les vecteurs Ë,, ..., &,_. de T,M la valeur 


ko (x)I (Ë (x), 81, +. …, Era). 


Problème 2. Démontrer que + (ËE) est le seul opérateur dans l'espace 
des formes différentielles sur M qui possède les propriétés 


a) U(E) (or + @) = 1 (6) © + L (6) ©; 
b) L (Ë) (Gr NA 2) = 1 (E) o1 À Oo + (—1)# O1 /\ L(E) ©, (2) 


où &, est une forme de degré k; 
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c) si w est une forme de degré 1, alors & (£) © = « (Ë); 

d) si o est une forme de degré 0, alors 1 (E) © — 

Problème 3. Démontrer que les opérateurs t (£) et d sont liés à l'opé- 
rateur de Lic L+ par l'identité 


Le = d'ou(E) + v(E)od. (3) 


Une propriété importante de l'opérateur d est sa permutabilité 
aux applications différentiables. 


Problème 4. Soit f: M — N une application différentiable. Pour 
chaque forme différentielle w sur N définissons la forme f*ow sur M par l'égalité 


[(F*o) (x)1 (61, .., 8) = Lo (F (x))] (F4 (x) Eu ++. fx (æ) En). 


Démontrer que dof* — f*od. 

Indication. Démontrer que f* est permutable au produit extérieur 
pour recourir ensuite aux formules (1), qui RARE de réduire le problème 
considéré aux cas 4 = 0, ou © = dx k = 


L’affirmation du problème 4 peut également être déduite de 
l'expression explicite suivante de la différentielle do de la forme 
ao de degré k: 


(+1) de (Go, -.., En)= 2 (—1) 0 (Éo, +. És, ..., Ex) + 
+ D (— 1) (Es, El Eo, ..., Er, ..., Ep, ..., Ex). (4) 


0SiTiSA 
Éor Es + + Er Sont ici des champs de vecteurs différentiables 
quelconques et le symbole” signifie que l’argument correspondant 
est à omettre. 
Démontrons l'égalité (4) par récurrence sur le degré de w. Mettons 
le membre gauche sous la forme [i (6,) dwl (E,, . .., Ex) pour ap- 
pliquer ensuite l'identité (3). On obtient 


(Le,©) (1, .., Ex) —={ [i (É0@] (£1, Dan Ex). (9) 


En utilisant l'identité 
L [o (E1, ..) Ex)] —— (Les) (E1, ..) Ex) + 


+12 @ (6, ea LE, .. Ex) 


et l'hypothèse de récurrence, il est facile de faire coïncider l’expres- 
sion (9) avec le membre droit de l’égalité cherchée (4). Il ne reste 
qu’à vérilier la formule (4) pour k = 0, ce qui est trivial. 

La forme w s'appelle fermée, si do — 0, et exacte, si © — do’, 
pour une certaine forme @'. 

Problème 5. L'ensemble des formes fermées possède par rapport au 


produit extérieur une structure d’anneau ; l’ensemble des formes exactes est un 
idéal bilatère de cet anneau. 
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L’anneau quotient correspondant est noté H* (M, R) (ou bien 
H* (M, C), si l’on considère des formes à coefficients complexes) 
et appelé anneau de cohomologie de de Rham de la variété M. Il est 
naturellement gradué (par les degrés des formes): 


dim M 


H*(M,R) — à H" (M, R). 


Théorème de de Rha m. Les groupes HF (M, K), K — 
— KR, C, coïncident avec les groupes de cohomologie de la variété M 
à coefficients dans K (voir 1.3). 

Le rôle fondamental des formes différentielles en analyse s’ex- 
plique par le fait qu'elles apparaissent naturellement quand on 
généralise l'opération d'intégration aux variétés. En effet, soient & 
une forme différentielle de degré 4 sur M, et N une certaine sous- 
variété de M de dimension #. Supposons qu'il existe une applica- 
tion différenciable œ@ d’un domaine D € R* dans la varié- 
té M, telle que (D) = N. La îforme œ*(w) peut s’écrire 
a(x!, ..., x") dr! A.../A dr*. La formule classique de change- 
ment de variables montre que la valeur 


I= | Se | a(x!, ....) zx") dx! ... da" 


J 
D 


est définie (au signe près) par la variété NW et la forme o (c’est-à-dire 
ne dépend pas du choix de l’application paramétrisante ). 
Pour définir également le signe de 7 de façon unique, il faut 
fixer une orientation de V (voir 5.1). 
La valeur 7 s'appelle intégrale de la forme © sur la variété orien- 


tée N, on la désigne par jo. 


N 
Dans le cas général, lorsque W ne peut être recouverte par 
une seule carte, on procède de la façon suivante. Soient V une 


variété orientée et {U,, p,} un atlas positif appartenant à la classe 
choisie. 


Problème 6. (théorème de partition de l'unité). 
Si {U, }azA est un recouvrement ouvert de la variété M de classe CF, il existe une 
famille de fonctions {f,}.=æA de classe C!, 1 — min (k, oc) qui possède les pro- 
priélés suivantes: 


4) fx — O0 en dehors de U, ; 
2) 0<f, <1 sur M; 
3) >. fx = 1 Sur M. 

AE À 


Gorollaire. La forme © sur M cst la somme des formes &,,, telles 
que w4 — 0 en dehors de U,. 
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Posons par définition 


- 
O — > D. 
N ae A Ur 


On peut vérifier que cette valeur ne dépend pas du choix du 
recouvrement U, et de la décomposition de © en somme de w,. 


On appelle variété à bord l’ensemble M dont chaque point possède un voisi- 
nage difféomorphe au voisinage de zéro soit dans R?, soit dans R? (le demi- 
espace défini par la condition x” > 0). L'ensemble des points du deuxième type 
est appelé bord de la variété M et désigné 0M. 

Si une variété à bord M est orientable, alors son bord 0M l’est également 
et, pour un choix convenable d’orientations, on a la formule 


M ÔM 


pour toute forme différentielle de degré nr — 1. 
Pour la démonstration de cette formule et des renseignements ultérieurs 
voir les livres [58], [63]. 


5.4. Espaces fibrés. 


La majorité des espaces vectoriels que l’on examine dans les applications 
de l’analyse fonctionnelle peuvent être considérés, d’un même point de vue, 
comme des espaces de sections de fibrés vectoriels sur les variétés différenciables. 
Tels sont, par exemple, les espaces de fonctions, de champs de vecteurs, de formes 
différentielles, etc. 

Nous n’exposerons ici que les définitions et les faits fondamentaux de la 
théorie des fibrés vectoriels, en renvoyant le lecteur soucieux de détails au livre 
de Huscmôller [32]. 

Nous citerons également la définition de la cohomologie à coefficients dans 
un faisceau et le théorème généralisé de Dolbeault. 

Le lecteur peut trouver la démonstration de ce théorème et des renseigne- 
ments ultérieurs sur la théorie des fasceaux dans l'ouvrage de R. Godement [25]. 


On appelle fibré vectoriel sur une variété différentiable M le 
couple 6 = (£, p), où E est une certaine variété et p une applica- 
tion de £ sur M aux propriétés suivantes: 

1) l’image inverse p-!{(x) de chaque point x € M est munie d’une 
structure d'espace vectoriel sur À, K = R ou C; 

2) chaque point x € M possède un voisinage U tel que p-!(U) 
admet sur U X K® un difféomorphisme œ permutable à la pro- 
jection sur U et linéaire sur chaque fibre p”! (x). 

La variété E s'appelle espace fibré, l'espace K” fibre, la variété 
M base et l'application p projection de l’espace fibré. 

L'ensemble de tous les espaces fibrés sur M à fibre X" forme 
une catégorie, dont les morphismes sont les diagrammes commu- 
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tatifs 


E— = E, 


P1 P2 
M 


où œ est un certain difféomorphisme linéaire sur chaque fibre. 

A titre d'exemple d'espace fibré, citons le produit cartésien 
M X K" avec la projection naturelle sur le premier facteur. Cet 
espace fibré, de même que tous les espaces fibrés lui étant équiva- 
lents, s’appellent trivials. 

Chaque espace fibré s'obtient des espaces fibrés triviaux en les 
« collant » de la manière suivante. Soit {U,}cea un recouvrement 
de M par des ensembles ouverts. Choisissons dans les intersections 
U, N Us des fonctions opératoires différentiables g,8 à valeurs 
dans Aut X7, telles que 


Lac = À dans U,, £ap° £a = 1 dans U, (Us, | | 
Bu © Bhy ° £a = À dans Uo M UN Ua (D) 
Nous les appellerons fonctions de passage (ou fonctions de transition). 


Soit Æ la réunion des variétés U, X Kr. Appelons les points 
(Tous Ya) E Ua X KT et (xs, y) € Ur X K* équivalents si x, = xp 
et Ya —= Las (TB) Ys. (Le fait que c’est effectivement une relation 
d'équivalence correspond à la condition (1) pour g,8.) Désignons 
par £ l’ensemble quotient par cette relation d'équivalence et par p 
la projection de E sur M [l'application quotient de la projection 


naturelle de £ sur M, qui envoie (xu; ya) sur æol. 


Problème 1. Démontrer que 6 = (£E, p) est un fibré vectoriel sur M 
et que chaque fibré sur M est équivalent à un fibré de ce type. 

Indication. Considérer le recouvrement de M par des ensembles U, 
tels qu’il existe, d’après la condition 2), un difféomorphisme @, : p-1(U,) —+ 
— U, X K', et poser gp = ppopo}. 


Pour exemple de réalisation pratique de cette construction 
(pour M = St, K* = RP citons le « ruban de Môbius » formé de 
deux bandes de papier (fig. 1). 


D B B C 
| D 7 —| 
C A r. D 


Fig. 1. 


Problème 2. Soient f,: U, — Aut A? des fonctions opératoires 
différentiables quelconques. Démontrer que les fibrés 6 et 6’ définis par les 
fonctions de transition gg et Ep = frlogagefs Sont équivalents. 
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Indication. L’ équivalence cherchée @: E; — E, est l'application 


quotient de l’application @: É, — £, donnée par la formule p (Tas Ya) = 
ie Gi: La (to) Vo): 


On appelle section d’un espace fibré 6 sur un ouvert U € M 
une application différentiable s: U — E, telle que pos — 1. (Parfois 
on appelle section l’image de U par l'application s.) 

L'ensemble de toutes les sections de 6 sur U est noté l' (6, U). 
Si 6 est un fibré trivial, alors l'(6, U) s’identifie naturellement 
avec l’ensemble des fonctions vectorielles différentiables sur U 
à valeurs dans ÆT. 

Dans le cas général, lorsque le fibré 6 est donné par un recou- 
vrement {U,} et par des fonctions de transition g,8, la section s est 
définie par une famille de fonctions vectorielles différentiables 


Sa: UNU;:—+K7?, 
que l’on appelle composantes de s et qui satisiont aux conditions 
Sa (T) = Sas (x) S8 (x), xEUNUAN US. 


Remarquons que l'(6, U) est un module sur l’anneau © (U) 
des fonctions (numériques) différentiables sur VU: la section f:-s 
a pour composantes (f-s), = fs. 


Problème 3. Démontrer que le fibré 6 à fibre ÆX? est trivial si et 
seulement s’il existe n sections s,, ..., s, de T (&, M) linéairement indépen- 
dantes en chaque point x € M. 


Indication. La nécessité est évidente. L'application de M X K? 
dans ÆE, donnée par la formule 
(x, (A1, .. Àn)) > (451 + .. + ÀnSn ) (x), 


entraîne la suffisance. 


Soit TM l’ensemble de tous les vecteurs tangents à la variété M 
(c'est-à-dire TM = Ü T,M; voir 5.2). 


xeM 
En faisant correspondre au vecteur EE T,M le point x € M 
on obtient la projection p: TM — M. 


Problème 4. Démontrer que t (M) = (TM, p) est un fibré vectoriel 
sur M à fibre R?, n = dim M, et que T'(tT (M), M) s’identifie naturellement 
avec l’espace des champs de vecteurs différenciables sur M. 

Indication. Soit {(U,, p.)} un atlas sur M. Considérer un fibré 
défini par le recouvrement {U, } et les fonctions de transition g,8 — (Pa °Pp')#. 


Le fibré t (M) s'appelle fibré tangent de la variété M. Le fibré 
cotangent Tt* (Met les fibrés tensoriels t*! (M), dont les sections 
sont des champs de tenseurs mixtes de rang (k, !) sur M, se définis- 
sent d’une manière analogue. 
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Pour les fibrés vectoriels sur M on peut définir les opérations 
de somme directe et de produit tensoriel, qui se réduisent à la somme 
directe et au produit tensoriel des fonctions de transition correspon- 
dantes. Le fibré t*! (M) est par exemple équivalent au produit 
tensoriel de k exemplaires de t (M) par Z exemplaires de 1* (M). 

Les classes d’équivalence des fibrés admettent elles aussi de 


telles opérations. 


Soit Æ (M) l’ensemble des classes d'équivalence des fibrés vectoriels com- 
plexes sur M.Considérons la catégorie des applications de l’ensemble &# (M) dans 
les anneaux commutatifs, telles que la somme directe et le produit tensoricl 
des classes de fibrés deviennent respectivement la somme ct le produit des 
éléments des anneaux. Il existe dans cette catégorie un objet universel initial 


K (M). La correspondance M => K (M) s'avère un foncteur contravariant de la 
catégorie des variétés dans celle des anneaux commutatifs. Il s'appelle X-foncteur 
(ou XO-foncteur pour les fibrés réels) et joue un rôle important dans les appli- 


cations topologiques. 


Soit M une variété complexe. Parmi les fibrés vectoriels com- 
plexes sur M on peut mettre à part la classe des fibrés holomorphes 
dont l’espace fibré est une variété complexe, et les difféomorphismes 
p: p'(U)— U X C? sont des applications holomorphes. Il est 
clair que le fibré @ est holomorphe si et seulement s’il peut être 
construit à l’aide de fonctions de transition holomorphes. 

Pour les fibrés holomorphes il est naturel de considérer les sec- 
tions holomorphes sur les ensembles ouverts U € M (c’est-à-dire 
les applications holomorphes s: U — E telles que pos — 1). De 
telles sections se définissent par une famille d’applications holo- 
morphes s,: U, —+ C" qui satisfont aux conditions (3). Si € est 
un fibré holomorphe, par l'(&, U) nous désignerons l’ensemble des 
sections holomorphes de & sur U. La correspondance Ur T(&, U), 
de même que dans le cas réel, définit un faisceau de modules sur 
le faisceau structural © de la variété M. 

Citons à titre d'exemple la description de tous les fibrés holo- 
morphes de dimension un sur la sphère de Riemann CP1. 


Problème 5. Chaque fibré holomorphe € de dimension 1 sur C est 


trivial. 
Indication. Ceci équivaut à l’existence d’une section s € T (6, C) 


partout non nulle. Pour la démonstration de ce dernier fait (loin d’ailleurs d’être 
trivial) voir [24]. 


La sphère de Riemann CP! peut être recouverte par deux voisi- 
nages U,, U, isomorphes à C, dont les paramètres canoniques sont 
liés par la relation z, :z, — 1. D’après le problème 5, chaque fibré € 
sur CP! se définit par une fonction de transition g (z) holomorphe 
et non nulle sur U, f U, = C\X{0}. | 
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Problème 6. Chaque fonction g (z) holomorphe ct non nulle partout 
dans C X {0} est de la forme 


g1(2):2# +82 (271), 


où g, ct g, scnt des fcncticns holcmorphes et non nulles partout sur C. 


En vertu des problèmes 5 et 6, chaque fibré holomorphe 6 sur 
CP! est équivalent à un des fibrés 64 défini par les fonctions de 
transition g(z) = z*, kE Z. 


Problème 7. Démontrer que t (CP!) & 6, t* (CP!) = 6. 
Indication. Les champs de vecteurs sur C sont de la forme a (z) _ 


et les champs de covecteurs b (z) dz, où a et b sont des fonctions entières quel- 
conques. 


I1 est évident que le produit tensoriel des fibrés 6, et 6, est équi- 
valent au fibré 6,:,. Par conséquent, les classes d'équivalence des 
fibrés holomorphes de dimension 1 sur CP? forment par rapport 
au produit tensoriel un groupe cyclique. 

L’isomorphisme de ce groupe à Z (tous les 6, ne sont pas équi- 
valents deux à deux) découle du fait suivant. 

Problème 8. Démontrer que 


dimer (8», che {T7 ete 
O pour k< 0. 

Soit maintenant M une variété mixte. Parmi les fibrés vectoriels 
complexes sur M on peut considérer la classe des fibrés vectoriels 
partiellement holomorphes et de leurs sections partiellement holomor- 
phes, de sorte que la correspondance Ur l' (8, U) soit un faisceau 
de modules sur le faisceau structural de la variété mixte A. 

En termes de fonctions de transition et de composantes des 
sections, cela veut dire que 


Larp EO (UN U5) a Aut C7, 
Sa E O (Uc) @ C”. 
C 


Dans des coordonnées convenablement choisies x,, . .., Æn: 2j, . .. 
..., 4, les fonctions g,8 et S, Seront respectivement des fonctions 
différenciables des variables réelles x; et des fonctions holomorphes 
des variables complexes z;. 

Cette définition équivaut à déterminer d’une façon usuelle un 
fibré pour Z — 0 et un fibré holomorphe pour k = 0. 

Soient F un faisceau de groupes abéliens sur la variété M et 
U — {U,}.ea un recouvrement de M par des ensembles ouverts. 
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Définissons une cochaîne de dimension #7 du recouvrement Ü à 
coefficients dans F comme une application c antisymétrique (chan- 
geant de signe pour chaque permutation de deux arguments) et 
envoyant la famille d'indices (œs, &, . .., &,) dans l'élément 


Cor en a MEET ses Use 
L'ensemble de toutes les cochaînes de dimension n est noté 
Cr? (Ù, F). 


L'opérateur de cobord d: C?(0, F) — Cri (Ù, F) se définit 
par la formule 


n+1 
dc (&, ..., An) = 2 (— 1)" F (qi) c (wo, sos Lis Cn+1); 


où w; est l'inclusion de U,,fN .../f Ua. dans U,o NN ... Üa, +7 


.f" Uanss 

Si F est un faisceau constant (c'est-à-dire F (U) = II pour U Æ @ 
et F (®) = 1 pour une inclusion quelconque U & V), alors la défi- 
nition ci-dessus coïncide avec celle de cochaîne et d’opérateur de 
cobord donnée dans 1.3. Les définitions de cobord, cocycle et coho- 
mologie, qui y sont données, restent les mêmes pour des faisceaux 
quelconques. 

Le théorème de Leray étant également valable pour les faisceaux 
quelconques reste donc un des instruments sûrs de calcul des coho- 
mologies. 

Une autre méthode de calcul consistant à considérer les groupes 
H* (M, F) comme foncteur de la catégorie des faisceaux sur 17 
dans celle des groupes sera donnée dans un exemple à part (faisceau 
des sections partiellement holomorphes de fibrés sur une variété 
mixte). 

Soit 6 un fibré partiellement holomorphe sur une variété mixte 
de type (k, !). Rappelons que, localement la variété AZ est un produit 
direct du voisinage de zéro dans R" par un voisinage de zéro dans C!. 
Désignons par h (M) le fibré- complexe de dimension / sur M, ayant 
pour fibre l’espace tangent à la « partie complexe » de la variété 47, 
et posons 


N'(E)= 6 ® A'h* (M), 


où le petit trait indique la conjugaison complexe, + le passage à 
l’espace dual et /\’ le produit extérieur de degré r. Les sections des 
fibrés À" (6) s'appellent formes différentielles de type (0, r) sur M 
à valeurs dans le fibré €. En coordonnées locales, elles sont de la 
forme 


—., > | Su, 8 dEit ….. A dz, ’ 
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Où Si, ....i sont des fonctions différenciables des variables 


Lis + + es Th Ugo Vys © ee) Us Va (25 = Uj + iv). 
On peut définir un opérateur de cobord 


0: T(A' (8), M)=T(NY(E), M), 
qui agit dans les coordonnées locales suivant la formule 


ds= D ôsn..i A du... Adi. 
ss Ÿp 


Théorème généralisé de Dolbeault. On a 
l'isomorphisme 


H'(M, le) =ker d,Jimô,_1, 


où l'& est un faisceau des sections partiellement holomorphes du 
fibré 6. 


Problème 9. Démontrer que l’espace H° (M, l) coïncide avec l’espace 
des fonctions partiellement holomorphes du fibré 6. 

Indication. La condition 6/f/0z = 0 équivaut aux conditions de 
Cauchy-Riemann assurant que f est holomorphe par rapport à z. 

Problème 10. Calculer Ar (CP!, lg.) (voir les problèmes 6-8). 

Indication. Vu que dim CP! = 1 et A° (CP!, Tg,) = T (6x, CP!) 
{voir problème 9), il suffit de considérer le cas r = 1. En posant z = peïv et en 
développant en suite de Fourier par rapport à , le problème considéré se ramène 
au suivant. 

Déterminer pour quelles fonctions différentiables b (p) sur (0, œ) vérifiant 
les conditions 


1) b(p)=0 (pl) pour p +0, 
2) b(p}=0(p*7*"T# 2 #1) pour p—+ co 
il existe une solution a (p) de l’équation 
' m— 1 
a’ — a =, 


qui satisfait aux conditions limites 


3) a (p)=O(pimti) pour p —+ 0, 
4) a (p) = O (p#-[k-m#1) pour p —+ œ. 
Réponse. 


0 pour k4>0, 


dim,H1(CPi,Te )— 
Reel x) —(k+1) pour k<0. 


7—0361 
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$ 6. GROUPES DE LIE ET ALGÈBRES DE LIE 


6.1. Groupes de Lie. L'ensemble G s’appelle groupe de Lie, 
s’il est à la fois un groupe topologique et une variété différenciable, 


tels que l’application G x GS G, donnée par la formule (x, y) — 
— xy"}, est différenciable. 

Nous ne précisons pas ici la notion de différenciabilité car en 
vertu du théorème de Gleason-Montgomery-Zippin (qui donne une 
solution positive du cinquième problème de Hilbert) chaque groupe 
de Lie de classe C® admet une structure de variété de classe C®, 
compatible avec sa structure de groupe. 


Remarque. La différenciabilité de l’application dans la définition 
ci-dessus équivaut à celle des deux applications suivantes: 


. GxXG % G: (x, y)—xy 
e 


GG: e (x) —zx"i, 


Exemples de groupes de Lie. 

1. La droite réelle R avec l'opération d’addition. 

2. Le cercle T avec l'opération de multiplication (si l’on suppose 
que T soit un cercle unité 1 du plan complexe C). 

3. L'ensemble GL (n, R) de toutes les matrices non dégénérées 
d'ordre nr (considéré comme domaine de R’*) avec l'opération de 
multiplication matricielle. Pour le cas particulier nr — 1 on obtient 
R* — R\{0} avec l'opération de multiplication. 

4. Si G, et G, sont des groupes de Lie, leur produit G, X G; 
l’est aussi. En particulier, R' et T'" sont des groupes de Lic. 

9. Le groupe des transformations affines d’une droite, muni de 
la topologie naturelle, est un groupe de Lie. 


En effet, chaque transformation affine g est de la forme g (x) = ax + b, 
où a E R*,0dER. 

Les coordonnées (a, b) permettent d'identifier la variété du groupe avec le 
domaine de R?, qui s’en obtient en éliminant la droite a = 0. L’application y, 
qui figure dans la définition du groupe de Lie, est donnée dans ces coordonnées 
par la formule 


@ (15 045 ao, Da) =(ayaz!; bi—boaya;!). 


6. Le groupe H* des quaternions non nuls (voir 3.2) avec l’opéra- 
tion de multiplication. 

7. Les variétés dans les espaces des matrices définies dans 5.1 
sont des groupes de Lie par rapport à l'opération de multiplication 
matricielle. 


En effet, il est aisé de vérifier que les équations (1), (2), (3) de 5.1 défi- 
ssent des groupes, c’est-à-dire que si les matrices x et y satisfont à ces équations, 
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les matrices r-1 et xy le font également. Vérifions si l’application (x, y) > z = 
= 2y"! est également différentiable. 

D’après le théorème d’analyse, cité dans 5.1, pour coordonnées locales dans 
le voisinage des points x, y et z = xzy”l on peut choisir une certaine collection 
d'éléments matriciels (propre à chaque voisinage). Les autres éléments matriciels 
seront alors des fonctions différentiables par rapport aux éléments choisis. Les 
coordonnées du point zs’expriment évidemment comme fonctions différentiables 
des éléments matriciels x et y-!, qui le font à leur tour par rapport aux coordon- 
nées des points x et y. (Nous faisons recours au fait que dans le domaine des 
matrices non dégénérées, les éléments de y”! sont des fonctions différentiables 
des éléments de la matrice y.) 


Problème 1. Démontrer que la sphère S$ de dimension 3 admet une 


structure de groupe de Lie. 

Indication. Réaliser S$ sous forme de l’ensemble des quaternions de 
norme unité. 

Problème 2. Démontrer que sur une sphère S? de dimension 2 
on ne peut pas définir de structure de groupe de Lie. 

Indication. Recourir au lemme topologique suivant: chaque appli- 
cation continue homotope à une application identique d’une sphère de dimension 2 
sur elle-même possède un point fixe. 


Parmi tous les exemples cités ci-dessus il y a deux groupes de 
Lie de dimension un: R et T. 

Il s’avère qu'il n'existe pas d’autres groupes de Lie de dimen- 
sion 1. 


Problème 3. Chaque groupe de Lie G de dimension 1 est isomorphe 
à R ou à T. 

Indication. Supposons d'abord que le groupe G soit difféomorphe 
à Ret x € G un élément non unitaire. Démontrer que, pour chaque nombre ra- 
tionnel r — m/n, il existe un élément unique y € G, qui possède la propriété 
yn = xM: (Utiliser le fait que le produit de deux éléments de G est lié d’une 
manière monotone à chaque facteur.) Désignons cet élément par xr. Démontrer 
que l'application Q— G:r + x7 se prolonge à l’isomorphisme cherché R —+ G. 


Dans le cas où G est difféomorphe à T, démontrer que pour chaque entier 
m > 0 il existe une inclusion Z,, — G et que l’on peut choisir toutes ces inclu- 


% 


sions de manière à prolonger l’application obtenue U Zm = Q/Z — G à l’iso- 
m 
morphisme cherché T = R/Z + G. 


Vu que chaque groupe de Lie possède des sous-groupes de dimen- 
sion 1 ce résultat est donc largement utilisé. L'’affirmation du 
problème 3 permet de choisir dans ces sous-groupes un paramètre 
canonique lié de la façon la plus naturelle à la loi de multiplication 
du groupe. 

Problème 4. Indiquer la forme générale de l’homomorphisme de G 


dans G,, où chacun des groupes G; coïncide avec R ou T. 
Réponse: a) R—æR:zx7+-ax, a£€R; 


b) R—T:zxzr>eix, ÀACÇR; 
c) T—R:z+->0; 
d) T—T:zr+>21, n€EZ. 
7% 
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Soit G un groupe de Lie. Appelons composante connexe de l'unité 
de G l’ensemble G? de tous les éléments g € G que l’on peut joindre 
à l’unité par une courbe continue. 


Problème 5. Démontrer que G° est un sous-groupe connexe, ouvert ct 
fermé de G et que G° se définit d’une façon unique par ces propriétés. 


Si Gest un groupe de Lie connexe, mais non simplement connexe, 
alors on peut construire le groupe G, dit revêtement universel du 
groupe G. Par définition, G est formé des classes d'équivalence des 
applications continues @ du segment [0, 1] dans G vérifiant la con- 
dition œ (0) = e. 

Les applications , et p, sont équivalentes, s’il existe une famille 
d'applications æ;,: [0, 1] — G telle que p, (0) = e, ; (1) = po (1) 
et l’application 

[0, 1] X 10, 1] —+G: (6, x) Prçu) 


est continue. 
Désignons par [ol la classe de l'application œ. L'ensemble des 


applications @ peut être muni de la topologie de la convergence 
uniforme et G de la topologie quotient correspondante. 
Déterminons la projection p: G— G en posant p (Il) = (1). 


Problème 6. Démontrer que l'application p est un homéomorphisme 
local. 


Déterminons une loi de multiplication dans G en posant [pl X 
X [pe] Fe [ol], où 
1 (2x), si z<1/2, 
P (x) sa { | 1 : 1 
pi (1)pa(2r —1), si 22/2. 


Problème 7. Vérifier que cette loi munit G d’une structure de groupe 


de Lie et que la projection p est un homomorphisme de G sur G. 
Indication. Utiliser le résultat du problème précédent. 


Problème 8 Démontrer que le groupe G est connexe et simplement 
connexe. 


Nous verrons plus loin que le groupe G se définit d’une façon 
unique par les propriétés citées dans les problèmes 6, 7 et 8. (Voir 
le théorème de monodromie dans 6.3.) Nous laissons au lecteur le 
soin de formuler la définition du revêtement universel comme objet 


universel dans une catégorie appropriée. 
Pour conclure citons sans démonstration deux propriétés impor- 


tantes des groupes de Lie. 
Théorème 1. Chaque sous-groupe fermé d'un groupe de Lie 


est lui-même un groupe de Lie. 
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Théorème 2. Si Gest un groupe de Lie et H son sous-groupe 
fermé, G/H est une variété différentiable sur laquelle le groupe G agit 
par transformations différentiables. (En particulier, si H est un sous- 
groupe invariant, alors G/H est un groupe de Lie.) 


Pour la démonstration de ces théorèmes et d’autres renseignements concer- 
nant les groupes de Lie voir les livres [46], [30], [10]. 


6.2. Algèbres de Lie. La notion d’algèbre de Lie (dans l’ancien- 
ne terminologie — groupe de Lie infinitésimal) a fait son apparition 
lors de l'étude des groupes de Lie, pour devenir ensuite l’objet 
d’une théorie indépendante. Nous n’exposerons ici que quelques 
notions de cette théorie. 

On appelle algèbre de Lie sur un corps À un espace vectoriel L 
sur À, muni d’une opération supplémentaire, notée [x, yl et appelée 
commutation, qui satisfait aux conditions suivantes: 

1) elle est bilinéaire ; 

2) elle est antisymétrique: [x, xl — O0 pour tout x € L; 

3) elle satisfait à l’identité de Jacobi: 


Lx, y}, 2 + (y, 21, xl + [z, xl, y] = 0 
pour x, y, z € L. 


Problème 1. Démontrer que les deux premières propriétés ci-dessus 
entraînent l'égalité [x, y] = — [y, x] pour tous les x, y € L. 


Pour définir une structure d’algèbre de Lie sur un espace Z, 
il suffit de connaître les commutateurs pris deux à deux des vecteurs 


u x . k 
de base x,, . .., x,, c’est-à-dire les coefficients c;; dans les expres- 
sions 


n 
} 
ei, al= 2 cit. 


Ces coefficients s'appellent constantes structurales de l'algèbre L. 
D'après le résultat du problème 1, nous avons l'égalité c'; + «7, = 0, 


2{(n — 
de sorte qu'il suffit de connaître er? constantes structurales 


Cl; pour lesquelles i < j. 


Problème 2. Démontrer que si les éléments x, y, z sont linéairement dépen- 
dants, l'identité de Jacobi découle des deux premières conditions ci-dessus. 

Par conséquent, pour qu’une collection de nombres (cé} < j Soit la famille 
des constantes structurales d’une certaine algèbre de Lie, il suffit de vérifier” 
n (n — 1) (n — 2)/6 égalités, les identités de Jacobi pour les triplets x;, x;, x, 
tels que i << j < k. Notons que l'identité de Jacobi est vectorielle, équivalente 
à n égalités numériques, de sorte que la variété de toutes les familles de constan- 
tes structurales soit donnée par n? (n—1) (n — 2)/6 équations du second degré 
de n? (n — 1)/2 variables indépendantes. 
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Exemple. L'espace R°, ayant le produit vectoriel pour com- 
mutateur, est une algèbre de Lie sur R. En effet, les propriétés 1) et 
2) étant évidentes, il suffit donc de vérifier l'identité de Jacobi 
dans le cas où x, y, z forment une base orthonormée à orientation 
positive. Dans ce cas, [x, y] = z, [y, z] = x, [z, x] — y et l'identité 
de Jacobi s'avère vérifiée. 

Tout espace vectoriel muni d’un commutateur identiquement 
nul en est un exemple encore plus simple. Une telle algèbre de Lie 
s'appelle commutative ou abélienne. 

Un grand nombre d'exemples admet une construction analogue. 


Problème 3. Soit À une algèbre associative sur X ; posons pour 
x, yEÀ 
[x, y] = zy — yx. 
Démontrer que l’espace À, avec une telle opération de commutation, est une 
algèbre de Lie. 
Problème 4. On appelle différentiation d'une algèbre À sur X (non 


nécessairement associative) chaque application linéaire D: À — À qui possède 
la propriété 


D (zy) = D (x) y + xD (y). 


Démontrer que l’espace de toutes les différentiations de l'algèbre À est une 
algèbre de Lie sur X par rapport à l’opération 


[D;, D] — DD; Ce DD. 


Corollaire. L'ensemble Vect M des champs de vecteurs différentiables 
sur la variété M est une algèbre de Lie sur R par rapport à l'opération de commuta- 
lion. 

Dans ce cas le rôle de l'algèbre À revient à C® (M). 


Les algèbres de Lie sur un corps À forment une catégorie dont 
les morphismes sont les homomorphismes d'algèbres de Lie, c'est-à-dire 
les applications linéaires ®: L, — L,, qui possèdent la propriété 


p (x, yl) = [op (x), p (y)] 


pour x, y € L, quelconques. 

Un homomorphisme de ZL, dans L, s'appelle également repré- 
sentation de L, dans ZL,. En particulier, si Z, est une algèbre de Lie 
d'opérateurs linéaires dans un espace vectoriel Æ (par rapport à 
l'opération [4À, B] — AB — BA), on dit que œ est une représenta- 
tion linéaire de L, dans l’espace H. Le terme « linéaire » est souvent 
omis. 

Le théorème suivant a lieu. 

Théorème d’Ado. Chaque algèbre de Lie de dimension 
finie possède une représentation linéaire exacte de dimension finie. 

Ce théorème important permet de réduire les démonstrations des 
théorèmes sur les algèbres de Lie au cas d’algèbres matricielles 
de Lie. 
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On appelle centre d’une algèbre de Lie Z l’ensemble des éléments 
z EL, tels que [x, yl = 0 pour tout y € L. 


Problème 5. Soit Z une algèbre de Lie. Pour chaque x € L notons 
ad x l'opérateur dans Z, donné par la formule 


ad x (y) = [x, yl. 


Démontrer que ad x est une différentiation de l’algèbre de Lie, que l'application 
2 ad x est une représentation de l'algèbre de Lie Z dans l'espace Z (cette 


représentation est dite régulière) et que le noyau de cette représentation coïncide 
avec le centre de Z. 


Exemple. Soit ZL = R° l'algèbre de Lie considérée plus haut. 
Dans ce cas la représentation régulière est de la forme 


0 C —b 
ad (ax +by+ cz) = | —c 0 a 
b —a 0 


Par conséquent, l’algèbre de Lie Z est isomorphe à l’algèbre de 
Lie de toutes les matrices antisymétriques d'ordre trois. 

Enumérons les algèbres de Lie de petite dimension sur KR. 

I. dim Z = 1. Il existe une seule algèbre de Lie de dimension 
1, la droite R à commutateur nul. | 

IT. dim Z — 2. Soit x, y une base de L. Si [x, y] — 0, alors le 
commutateur de deux éléments quelconques est nul. Mais si [x, y] — 
— Z 5 0, alors le commutateur de deux vecteurs quelconques est 
re à z. En particulier, il existe un vecteur ft, tel que 
{é, zl = 2. 

Il existe donc deux algèbres de Lie non isomorphes de dimen- 
sion 2. | 

III. dim L = 3. Considérons l’espace L, € L engendré par tous 
les commutateurs. 

Si dim Z, = 0, tous les commutateurs sont alors nuls. 

Si dim Z, = 1, alors [x, y] — B (x, y) z, où z est un vecteur 
fixe, et B (x, y) est une forme bilinéaire antisymétrique dans Z. 
Les deux cas suivants peuvent alors se présenter: 

1) B (x, z) = 0 pour tout x € L; alors L possède une base x, y, z 
avec les relations de commutation [x, y] = z, [x, z] — [y, zl = 0. 

2) Il existe un vecteur x € L, tel que B (x, z) — 1; dans ce cas 
il existe une base x, y, z aux relations de commutation [x, y] — 
= (y;2l=0, x 2l= 7 

Supposons que dim Z, = 2. Il est à remarquer que le sous-espace 
L, est lui-même une algèbre de Lie, car Z, contient tous les commuta- 
teurs. Mais nous savons déjà qu'il existe exactement deux algèbres 
de Lie de dimension deux avec les relations de commutation [x, y] — 
= 0 et Î[x, y] — y respectivement. Soit z un vecteur complétant 
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les vecteurs x et y à une base de Z. L'opérateur ad z est une différen- 
tiation de l’algèbre Z.. 

Dans le cas [x, y] — y, il en découle que l'opérateur ad z est 
de la forme x ay, yr by, ce qui contredit la condition dim Z, = 2. 

Dans le cas [x, y] = 0, il n’y a aucune restriction: ad z peut 
bien être une matrice À (d’ordre deux) quelconque. Notons néan- 
moins que la condition dim Z, = 2 implique que la matrice À soit 
non dégénérée. 

Problème 6. Démontrer que les matrices À et B définissent les al- 


gèbres de Lie isomorphes, si et seulement s’il existe une matrice non dégénérée C 
et un nombre non nul c, tels que 


cA = CBC”, 


Ainsi, dans le cas dim Z,; = 2, nous avons obtenu toute une 
famille d’algèbres de Lie, paramétrisée, à équivalence près, par 
les matrices non dégénérées d'ordre deux, l’équivalence étant 
donnée par la formule (1). 

Donnons, enfin, sans démonstration pour le cas dim Z, = 3, 
c'est-à-dire Z, — L, la conclusion définitive [qui se déduit de la 
théorie des algèbres de Lie semi-simples (voir plus loin)]. Il existe 
deux algèbres de Lie non isomorphes de dimension trois pour lesquel- 
les Z, — L. Leurs relations de commutation sont de la forme 


[x, y| — 2, [y, 2] = À, [z, x] — 1 
et 
[x, yl = 2y, (x, zl = —2z, [y, zl = x. 


La première algèbre de Lie ci-dessus est celle des matrices anti- 
symétriques d'ordre trois, qui nous est déjà familière. La deuxième, 
comme on le vérifie aisément, est isomorphe à l'algèbre de Lie des 
matrices d'ordre deux de trace nulle: 

1 0 O0 1 0 si 
| mi (6 ) | |, UE 

La classification des algèbres de Lie de dimension quatre peut 
en principe être obtenue par des raisonnements ad hoc du même 
genre, mais les calculs correspondants et la réponse définitive sont 
trop longs pour les citer ici. 

Au lieu de ceux-ci nous introduirons quelques notions générales, 
facilitant la classification des algèbres de Lie de dimension quel- 
conque. 

Un sous-espace M de l'algèbre de Lie Z s’appelle sous-algèbre 
(respectivement idéal), sil, MI & M (respectivement [Z, MI & M). 
(Ici, et dans ce qui suit, la notation [Z, M] signifie l’enveloppe 
linéaire des vecteurs de la forme [x, yl, x € L, y € M.) Si M est 
un idéal de Z, l’espace quotient ZL/M se munit naturellement d’une 
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structure d’algèbre de Lie, que l’on appelle algèbre quotient de l’al- 
gèbre L par l'idéal M. 

Dans chaque algèbre de Lie L on peut définir deux suites de 
sous-espaces 


LEZ A, L=l(L Lise = TC Li 
[LL Le (ED 2 Le (2? LA} 
Il est évident que nous avons les inclusions: 


SE SSL S;: 


| Ü Ü U 
LÉ SL :,, SL". 


Problème 7. Démontrer que tous les sous-espaces L? et Z,, sont des 
idéaux dans Z ct que les algèbres quotients L,/L,4+, et L/Ln* sont commutati- 
ves. 


Si dim L << ©, alors les suites {Z,} et {L'} se stabilisent : 
à ne d’un certain #2, L, = Li =... et Lr = Lure 
= = LL 

LL algèbre de Lie s ‘appelle résoluble (respectivement nilpotente), 
si L” — {0} (respectivement si L — {0}). 

Le Mie petit nombre n pour lequel Lr = {0} (respectivement 
L, — {0}) s'appelle rang de résolvabilité (respectivement de nilpo- 
tence) de l’algèbre Z. 

A titre d'exemple d’algèbre de Lie résoluble (respectivement 
nilpotente), citons l’algèbre T (n, K) (respectivement T, (n, K)) des 
matrices d'ordre n à coefficients dans À, qui satisiont à la condition 
a;j = 0 pour i > j (respectivement pour i > j). 

Une des propriétés les plus importantes des algèbres de Lie 
résolubles s'exprime par le théorème suivant. 

Théorème de Lie. Soit p une représentation de dimen- 
sion finie de l'algèbre de Lie L résoluble dans l’espace V sur un corps 
algébriquement fermé K. La représentation p est alors équivalente 
à une représentation triangulaire, c’est-à-dire telle que toutes les matri- 
ces p (x), x € L, sont comprises dans T (n, K). 

La démonstration découle des problèmes suivants. 


Problème 8. Soient À;,,..., À, des opérateurs commutant deux 
à deux dans l espace V sur un corps algébriquement fermé. Il existe un vecteur 
6 € V propre à tous les opérateurs 4. 

Indication. Pour un seul opérateur 4, un tel vecteur existe, puisque 
l'équation det (4 — À-1) = 0 possède au moins une racine À.. 

Démontrer que l’espace V, de toutes les solutions de l’équation 


A16 — A6 


est invariant par rapport à A,, ..., A, et raisonner par récurrence. 
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Problème 9. Dans les hypothèses du théorème de Lie, démontrer que 
tous les opérateurs p (x), x € L ont un vecteur propre commun. 

Indication. Recourir à la méthode de résolution du problème 8 et 
raisonner par récurrence sur le rang de résolvabilité de Z. 


Le théorème de Lie se déduit du résultat du problème 9 par 
récurrence sur la dimension de Y. 

Corollaire. Si L est une algèbre de Lie résoluble, la sous- 
algèbre ÎL, L] est nilpotente. 


La terminologie « algèbre résoluble » est empruntée de la théorie des groupes 
de Lie résolubles, appelés ainsi à cause de leurs liens aux équations différentielles 
résolubles en quadratures (de même que les groupes finis résolubles sont liés 
aux équations algébriques résolubles en radicaux). Voir à ce sujet le livre de 
I. Kaplanski [37]. ° 

La terminologie « algèbre de Lie nilpotente » s'explique par le fait suivant. 

Théorème d'Engel. Une algèbre de Lie est nilpotente si et seulement 
si, pour chaque x € L, l'opérateur ad x est nilpotent (c'est-à-dire que (ad x), = 0 
pour un certain n). 


Les classes d’algèbres de Lie nilpotentes et résolubles admettent 
une autre définition. Considérons les suites croissantes d’idéaux 
construites d'après les règles suivantes: 


Mo = M = {0}, 
Mh+, est le plus grand des idéaux J contenant 7, et tels que 
l'algèbre quotient J/M, est commutative; 
Mr* est un idéal contenant M7 tel que l’algèbre quotient 


Mr#/M" est le centre de l'algèbre de Lie L/M. 
Il est évident que l’on a les inclusions suivantes: 


McecMcec...cM"c, 


N N N 


M eBe...cM,c. 


Si dim L << oc, à partir d’un certain », on a Mr = M'ti = .. 
sue M EM, = Mine sie MS: 


Problème 10. Démontrer que l'algèbre L est résoluble (respectivement 
nilpotente), si et seulement si M, —= L (respectivement M® = L). 


L'algèbre de Lie s'appelle simple (respectivement semi-simple), 
si elle ne contient pas d’idéaux non triviaux (respectivement d’idéaux 
non triviaux commutatifs). 


Problème 11. Démontrer que chaque algèbre de Lie Z de dimension 
finie a un idéal R résoluble tel que l’algèbre quotient S — L/R est semi-simple. 
Indication. (Considérer l'idéal résoluble maximal (c'est-à-dire 
l'idéal résoluble n’est pas contenu dans aucun idéal résoluble plus grand). 
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En fait, on a même le théorème plus fort suivant. 

Théorème (E. Cartan-Levi-Maltse v). Tous les 
idéaux résolubles de l'algèbre L sont contenus dans un seul idéal résolu- 
ble R (dit radical de l'algèbre L). Il existe une sous-algèbre S € L 
semi-simple, telle que L = S ® R (somme directe d'espaces vecto- 
riels). Deux sous-algèbres de S quelconques possédant cette propriété 
se transforment l’une dans l’autre par un automorphisme de l'algèbre L, 
qui laisse R invariant. 

Par conséquent, l'étude des algèbres de Lie dans le cas général 
se réduit, dans une grande mesure, à étudier les algèbres résolubles 
et semi-simples. 

Bien que les algèbres de Lie résolubles possèdent, semblerait-il, 
une structure plus simple, on n’est quand même pas arrivé jusqu'à 
présent à les classifier. 

Ce problème a, comme on le sait, pour le cas particulier celui 
de la réduction simultanée à la forme canonique de kÆ matrices, 
problème qui n’est pas résolu même pour k = 2. 

Un moyen efficace pour étudier les algèbres de Lie est la forme 
bilinéaire de Killing: 

B (x, y) = tr (ad x-ad y). (2) 


Problème 12. Démontrer que la forme de Killing est invariante par 
rapport à tous les automorphismes de l’algèbre de Lie 

Problème 13. Démontrer que la forme de Killing est identiquement 
nulle si et seulement si l'algèbre de Lie est nilpotente. 

Indication. Recourir au théorème d’Engel. 

Problème 14 (critère de Cartan). La forme de Killing est non dégéné- 
réc si et seulement si l’algèbre de Lie est semi-simple. 

Indication. Si J est un idéal de l'algèbre de Lie Z, la forme de 
Killing de l’algèbre de Lie J coïncide avec la restriction à J de la forme de Kil- 
ling de l’algèbre ZL. D'où découle la première affirmation du problème; la 
démonstration de l’autre se ramène au cas d’une algèbre simple. Faire ensuite 
appel au fait que le noyau de la forme de Killing est un idéal de l’algèbre de Lie. 


Toutes les algèbres de Lie semi-simples sont totalement classi- 
fiées. 

On sait que chaque algèbre de Lie semi-simple est une somme 
directe d’idéaux simples. 

Il existe sur les corps C quatre séries infinies et cinq algèbres 
de Lie simples « singulières ». Il existe sur le corps R 12 séries infi- 
nies et 23 algèbres simples « singulières ». 

Il est à remarquer que toutes les algèbres faisant partie des 
séries infinies (on les appelle algèbres simples classiques) peuvent 
être réalisées comme algèbres de matrices (à éléments de R, C ou H) 
vérifiant les conditions algébriques fort simples. 

Notons 1, la matrice unité d'ordre n. Posons 


5 _{ 9 . ; ( À 
m=|_4,0 D D 
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Les algèbres simples classiques complexes sont : 

1) À, — l'algèbre de toutes les matrices complexes d'ordre n + { 
à trace nulle : =, Ue- 

2) Bh — l’ algèbre des matrices complexes antisymétriques d’or- 
dre 2n + 1; h=.2, 9, (B, est isomorphe à À4,); 

3) Cn — l'algèbre des matrices complexes canoniques d'ordre 2n 
(c'est-à-dire des matrices qui satisfont à l’équation X'J>, + Jan À —= 
— 0); n=3,4,:..: (Ge 4 2SB,;. C2 B.);: 

4) D, — l'algèbre des matrices complexes antisymétriques d'’or- 
dre 2n; n—4, 5,..., (D, est commutative, D, = À, ® À,, 
D 3 & À3). 

Toutes ces algèbres sont aussi bien des algèbres simples sur le 
corps R. Après complexification (c’est-à-dire après multiplication 
tensorielle par C sur R) les autres algèbres classiques réelles restent 
simples et s'appellent absolument simples. Une algèbre réelle ZL abso- 
lument simple s'appelle forme réelle de l’algèbre complexe simple 
Le, si Le = L @Q €. 

R 


Les formes réelles de l’algèbre À, sont: 

a) l’algèbre des matrices réelles d'ordre nr + 1 à trace nulle; 

b) l’algèbre des matrices complexes d'ordre n + 1 qui satisfont 
aux conditions tr X = 0 et X*Z,,9 + Ip, aX = 0, où p +q— 
=n+1,p2>3q; 

c) (pour n impair) l’algèbre des matrices quaternioniennes 
d'ordre (n + 1)/2, qui satisfont à la condition tr (X + X*) = 0. 

Les formes réelles de |? algèbre B, sont les algèbres de matrices 
réelles d'ordre 2n + 1, qui satisfont à la condition X'Tn,a + 
+ I5,4X =0, où p+qg—=2n +1, p>. 

Formes réelles de l'algèbre C, : 

a) l'algèbre des matrices réelles canoniques d'ordre 2n; 

b) l’algèbre des matrices quaternioniennes d'ordre n, qui satis- 
font à la condition X*Z,,, + Jp, A : 

Formes réelles de l’algèbre D, 

a) algèbres des matrices réelles d'ordre 2n, qui satisfont aux 
conditions X’Z3, à + TIp,a À = 0, où p +q — 2n, p >; 

b) (pour n pair) L'aigèbre des matrices quaternioniennes 
d'ordre n qui satisfont à la condition X*J,, + JonX = 0. 

De nombreux faits se rapportant à la théorie des algèbres de 
Lie semi-simples furent d’abord établis pour les algèbres classiques ; 
ce n’est que plus tard que l’on élabora les méthodes pour aborder 
l’étude de toutes les algèbres de Lie semi-simples. 


La structure des algèbres de Lie semi-simples s'avère liée à une notion 
géométrique fort remarquable : les systèmes de racines dans l’espace euclidien R?. 
Nous citerons ici quelques définitions et faits fondamentaux se rapportant à 
cette liaison. 
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Un ensemble fini Z de vecteurs de R? s'appelle système de racines, si 


2(x, y) : 

4) EE Z quels que soient x, ye X, 
2 (x, y) . 

2) 7 ES zx € D quels que soient x, y € pre 


n 
Ici (x, y) désigne le produit scalaire normal dans R?: (x, y) = Ÿ) ævr. 
k—1 


Du point de vue géométrique, ces conditions signifient que 

1) les angles compris entre les vecteurs de Z ne peuvent être que 0, x/6, 
x/4, n/3, x/2, 2n/3, 3n/4, 51/6, x, tandis que le rapport des carrés des lon- 
gueurs de deux vecteurs non parallèles et non perpendiculaires est égal à 1, 2 
ou 3, selon l’angle compris entre eux ; 

2) le système de vecteurs Z est invariant par rapport aux transformations 


OC (t):yr> y — Te x qui sont des réflexions dans les hyperplans orthogonaux 
aux vecteuis x € Z. 

Le groupe fini W engendré par les réflexions © (x), x € Z s'appelle groupe 
de Weyl du système Z. Appelons le vecteur x € R? régulier s’il n’est pas orthogo- 
nal à aucun vecteur de Z. L'ensemble de tous les vecteurs réguliers se décompose 
en | W | composantes connexes appelées chambres de Weyl. Fixons une chambre 
de Weyl quelconque C. Cette chambre est un cône convexe, limité par des parties 
des hyperplans (x, x;) = 0, zx; € IT, où II est un sous-système de Z appelé système 
de racines simples. Chaque racine x € Z est une combinaison à coefficients entiers 
des racines simples x;, dont les coefficients sont d’un même signe, de sorte que 
Z = ZX}, [ E_ où 2} (2) est l’ensemble des racines positives (négatives) qui 
possèdent des cocfficients positifs (négatifs). 

Appelons le système Z non dégénéré, si Z engendre tout l’espace R?, et 
réduit, si x € Z entraîne 2x € Z. 

On peut montrer qu'un système réduit non dégénéré de racines Ÿ se définit 
entièrement par son sous-système de racines simples II et que l’ensemble II € R? 
est un système de racines simples si et seulement si II possède les propriétés : 


2 , ce 
4) 2& 9 est un enticr non positif, quels que soient x, y € I; 
? 
2) II est unc base de R?. 
Il est commode de se donner le système II sous forme de diagrammes de 
Dynkine d'après la règle suivante: les sommets du diagramme correspondent 


+ HN 


Fig. 2 


aux éléments de II ; les sommets a; et a; sont réunis par un trait simple (respecti- 
vement double, triple), si les vecteurs correspondants forment un angle de 120° 
(respectivement 135°, 150°) ; les traits doubles et triples sont munis d’une flèche 
pour indiquer la plus petite racine. 

A chaque algèbre de Lie complexe semi-simple Z correspond un certain 
système réduit non dégénéré de racines. 
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Aux algèbres de Lie simples correspondent alors des systèmes de racines 
indécomposables (c’est-à-dire qui ne se mettent pas sous la forme de réunion de 
deux sous-ensembles orthogonaux). 

Problème 15. Tous les systèmes réduits non dégénérés imaginables de 
racines de dimension deux sont représentés sur la fig. 2. 

Indication. Utiliser le fait que tous les schémas de Dynkine de di- 
mension deux sont les suivants 


1 2 3 4 
O O O—0 OO O0 


Fig. 3. 
Ces systèmes correspondent aux algèbres classiques 41 ® A:, A», BP, et 
à l’algèbre singulière G.. 

La correspondance dont il s’agit est définie de la façon suivante. 
Soit L une algèbre de Lie et x € L. Considérons le polynôme en À: 

dim L 

det(adæ—A.1)= D, pr(z) M. 
1=0 


Les coefficients p, (x) de ce polynôme sont évidemment des fonctions polyno- 
miales sur Z. 

On appelle rang de l'algèbre L (notation : rg L) le plus petit des nombres /, 
tels que le coefficient p, (x) n’est pas identiquement nul. Les éléments x € L 
pour lesquels p,, r (x) 0 s'appellent réguliers. 

Problème 16. Démontrer que le rang des algèbres 4,, B,, Cns Dh 


est égal à n. 
Indication. Recourir au fait que les éléments réguliers forment un 


sous-ensemble ouvert dense dans Z, invariant par rapport à tous les automor- 
phismes de Z. 

On appelle sous-algèbre de Cartan de l’algèbre ZL une sous-algèbre résoluble 
maximale contenant un élément régulier. La dimension de la sous-algèbre de 
Cartan est égale au rang de Z. 

Dans les algèbres de Lie semi-simples les sous-algèbres de Cartan sont com- 
mutatives et coïncident avec les centralisateurs de leurs éléments réguliers. 

Si À est une sous-algèbre de Cartan dans une algèbre de Lie Z semi-simple 
complexe, alors tous les opérateurs ad x, x € H peuvent simultanément être 
diagonalisés. Par conséquent, dans une base convenable x, nous avons les condi- 
tions 

[x, Al= A (tres z EH. 


Les valeurs propres À,, (x) sont évidemment des formes linéaires sur À. Puisque 
la forme de Killing sur L est non dégénérée, on peut trouver des éléments u, € L 


tels que 
Âa (x) = B (Us t). 


Soit R le sous-espace réel de ZL, engendré par tous les pu... 

On peut démontrer que R est un sous-espace de Æ de dimension Z et que la 
restriction de la forme B sur R est positive. Soit Z l’ensemble des vecteurs non 
nuls u, (leur nombre est égal à dim L —rg L). Alors Z est un système réduit 
non dégénéré de racines dans À. 

La structure de l’algèbre de Lie Z est entièrement définie par les relations 
suivantes : 

NoBta+p si a +8 € 2, 
[Tor Tp]= B (tas T-a)Uas Si a+B—0, 
0 dans les autres cas. 
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(Les constantes N,8, à un choix approprié de la norme des x, , peuvent être 
rendues entières et se déterminent ensuite à partir du système de racines.) 

Pour un exposé détaillé de la théorie des algèbres de Lie et, en particulier, 
la classification des algèbres de Lie semi-simples, voir les livres [35], [54]. 


6.3. Liaison entre les groupes de Lie et les algèbres de Lie. 
Il existe bien de méthodes pour construire une algèbre de Lie à 
partir d’un groupe de Lie. Nous exposerons ici quatre méthodes. 

La première méthode consiste à étudier la fonction 
d (x, y) qui donne la loi de multiplication du groupe de Lie G dans 
un voisinage de l’unité du groupe. Choisissons une carte quelconque, 
pour laquelle l’unité du groupe est l’origine des coordonnées. Alors, 
la fonction # possède les propriétés 4 (x, 0) = % (0, x) = x. Par 
conséquent, le développement de cette fonction en une série de 
Taylor est de la forme 


Vy)=r+y+B(z, y) +... (1) 


où B (x, y) est une forme vectorielle bilinéaire des vecteurs zx et y, 
et les points de suspension désignent les termes d'ordre > 8. 

Définissons maintenant un commutateur dans R°, n — dim G, 
par la formule 


x, yl = B (x, y) — B (y, »). (2) 


Vérifions l'identité de Jacobi. Faisons recours à l'égalité 1 (b(x, y), z)— 
= 4% (x, Ÿ (y, z)) (associativité de la multiplication du groupe). 
Développant les deux membres de cette égalité en séries de Taylor 
et comparant leurs termes linéaires (par rapport à chacun des vec- 
teurs x, y, z), nous obtenons 


(B(B (x, y), 2) = B (x, B (y, 2)). (3} 


D'autre part, en substituant au premier membre de l'identité de 
Jacobi l’expression (2) pour le commutateur, on obtient 


[[x, yl, 2] ER (B (x, y), z) — B (z, B (x, y)) + 

a B (z, B (y, x)) — PB (B (y, x), z), 
ce qui, d’après (3), est égal à 
B(x, B(y,2))—B(z, B(x, y)) + B (2, B (y, x)) — B (y, B (x,2)). 


Si, dans cette expression, nous faisons une permutation cyclique 
de x, y, z et prenons la somme de toutes les expressions obtenues, 
il est évident que tous les termes s’annulent deux à deux, C.Q.F.D. 


… Problème 1. Montrer que le choix d’une autre carte donne une al- 
gèbre de Lie isomorphe et que la matrice de l’opérateur qui établit l’isomorphis- 


me est de la forme ai — Oxi/0yi, où {xt}, {yi} sont les coordonnées dans les 
cartes choisies. 
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La deuxième méthode introduit une structure d’al- 
gèbre de Lie dans l’espace tangent 7,G du groupe G au point e. 
Dans ce qui suit cet espace sera noté g. Soient x (é), y (ét) deux cour- 
bes différentiables, issues du point e. Considérons la courbe 


2(t) = 2 (T) # y (T) + x (Tr) «y (D), 
où T =sgentét. Vli|. 


Problème 2. Démontrer que la courbe z (t) appartient à la classe 
C1 (R, G) et possède donc un vecteur tangent z’ (t). Posons 
[z’ (0), y” (0)] = z° (0), (4) 
où x’ (0), y’ (0) sont les vecteurs tangents aux courbes x (t) ct y (f) respective- 
ment. Par rapport à l'opération (4) l’espace q devient une algèbre de Lie. 
Indication. Utiliser le développement (1) et la formule 


zl= —xg+B(z, r) +... (5) 


qui s’en déduit, les points de suspension désignant des termes d'ordre >. 
Démontrer quesizx (ft) = ta + ot), y (t) = tb + o(t), alors z (é) = tB (a, b) — 
— tB (b, a) + o (t) (d’où l’on voit que l'algèbre de Lie, obtenue par cette mé- 
thode, est isomorphe à celle construite plus haut). 


La troisième méthode consiste également à introdui- 
re une structure d’algèbre de Lie dans l’espace g. Elle est basée sur 
la représentation dite adjointe du groupe G dans l’espace g. 

Désignons par A(g) le difféomorphisme de G donné par la for- 


mule 
A(g):hr--ghg, h,g€G. (6) 


Il est évident que À (g) est un automorphisme du groupe G (rappe- 
lons que les automorphismes de ce type s'appellent intérieurs). 
Le point e est un point immobile pour tous les automorphismes 
de À (g). 

Considérons l’application dérivée À (g)4 (e): g—g, que l’on 
note généralement Ad g. D'après la règle de la chaîne (voir 5.2), 
l'application g-—- Ad g est un homomorphisme de G dans le groupe 
Aut 4 des transformations linéaires inversibles de l’espace q. Cet 
homomorphisme s'appelle représentation adjointe. Vu que la repré- 
sentation adjointe est une application différentiable de G dans 
Aut g, on peut donc considérer l'application dérivée Ad, e: g —- 
— End g. (Il est évident que End g est l’espace tangent à Aut 9, 
puisque Aut g est un ensemble ouvert dans l’espace vectoriel 
End g. 

te Ad, (e) est notée ad et fait correspondre à chaque 
élément X € q une application linéaire ad X de l’espace g. Posons 


[X, Y] = ad XY. (7) 


Problème 3. Démontrer que l'opération définie par la formule (7) 
transforme q en une algèbre de Lie et que cette algèbre coïncide avec celle cons- 
truite par la méthode précédente. 
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Indication. Considérer l'application &«: GX G— G donnée par la 
formule @ (x, y) = xyx-!. L'application dérivée «&, (e, e): g X g —+ g coïncide 
avec le commutateur défini par la formule (7). L'affirmation du problème 
découle maintenant de la forme explicite du développement en série de Taylor 
(aux termes du deuxième ordre) de la fonction &. Cette forme explicite s'obtient 
facilement à partir de la formule (1). (Cf. également le problème 11 de 5.2.) 


Exemple 1. Soit G — GLi(n, KR) le groupe de toutes les 
matrices réelles non dégénérées d'ordre nr. L'espace g dans ce cas 
coïncide avec l’espace Mat, (R) de toutes les matrices réelles d'ordre nr 
(à la matrice À € Mat, (R) correspond la classe de courbes équiva- 
lentes de la forme x(t) = 1, + tA + o(t)). La représentation 
adjointe est de la forme 


Adzx: Ar xAxi, x€G, AEg. (8) 


Pour calculer l’opérateur ad posons xz(t) = 1, + 1B. 
Alors 


x (t) Az (7 1= (1n +4B) À (1h —1B +o(t)) = AÀ+t(BA—AB)+o(t), 
d'où l’on a ad BA — BA — AB, ou 
[B, A] = BA — AB. (9) 


La quatrième méthode consiste à construire une 
algèbre de Lie à l’aide des opérateurs diftérentiels sur le groupe. 
Rappelons que l’espace Vect G des champs de vecteurs différentiables 
sur le groupe de Lie G est une algèbre de Lie de dimension infinie 
(voir le problème 4:et son corollaire dans 6.2). Notons gr le sous- 
espace de Vect G composé de tous les champs de vecteurs invariants 
par rapport à la famille des translations à gauche sur G. 


Problème 5. Démontrer que gr est une sous-algèbre de Vect G 
isomorphe aux algèbres de Lie construites plus haut. 

Indication. Démontrer que le champ de vecteurs X € Vect G est 
invariant à gauche si et seulement si pour tous les g € G on a l'égalité ZL (g) X — 
— XL (g), où L (g) désigne l’opérateur de C® (G), qui agit suivant la formule 
LL (g) F1 () = f (g7h). 

Pour démontrer la deuxième affirmation du problème, vérifier que l’appli- 
cation qui fait correspondre à chaque champ de vecteurs sa valeur au point e 
est un isomorphisme du sous-espace g, € Vect G sur g = 7,G. Le fait que 
cette application est un isomorphisme d’algèbres de Lie peut se déduire de l’affir- 
mation suivante, d’un intérêt particulier. 

Problème 6. Démontrer que chaque champ de vecteurs invariant 
à gauche sur G est pour une certaine famille de translations à droite sur G un 
champ de vecteurs dérivé (voir 5.2). 


Ainsi, nous avons fait correspondre à chaque groupe de Lie G 
une algèbre de Lie bien déterminée g. Montrons qu’à chaque homo- 
morphisme différentiable æ: G, — G; d’un groupe de Lie dans un 
autre correspond un homomorphisme des algèbres de Lie correspon- 
dantes. En effet, pour l’application de g, dans g,, on peut prendre 
l'application dérivée ®, (e). 

8—0361 
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De la deuxième méthode de construction de l'algèbre de Lie 
à partir d’un groupe de Lie on déduit immédiatement que +, (e) 
est un homomorphisme d’algèbres de Lie. 

Plus brièvement, le résultat obtenu peut s'exprimer comme 
suit: on a construit un foncteur de la catégorie des groupes de Lie 
dans celle des algèbres de Lie. 

Remarquons que pour construire l’algèbre de Lie à partir d’un 
groupe de Lie, il suffit de connaître la loi de multiplication dans 
un voisinage de l’unité aussi petit que l’on veut. Ceci suggère l’idée 
d'introduire une nouvelle notion. 

On appelle groupe de Lie local le couple (V, w), où V est un ensem- 
ble ouvert de R? contenant l’origine des coordonnées et 4 une appli- 
cation difiérenciable de V X V dans R' qui satisfait aux conditions: 


1) D (x, D (y, z)) = + (p (x, y), 2), 
2) 4 (0, x) = v (x, 0) = x, 


3) il existe une application différenciable &: V — R" telle que 
dx, e(x)) = vp(e (x), x) = 0. (Toutes les égalités sont supposées 
satisfaites sur les ensembles où sont définies toutes expressions fai- 
sant partie de ces égalités.) 

Chaque groupe de Lie G admet une infinité de groupes de Lie 
locaux que l’on peut construire de manière suivante. Soit (U, &) 
une carte de G ayant l’unité pour origine des coordonnées. Choisis- 
sons un voisinage de l’unité V & U, tel que l’on ait les inclusions 
V.VaUet V-t a U. (Ici, comme d'habitude, VV désigne l’en- 
semble de tous les produits xy, x € V, y € V et V-! l’ensemble de 
tous les éléments de la forme x”, x € V.) L'existence d’un tel voi- 
sinage découle de la continuité des applications (x, y) > xy et 
xt zx”, 

Identifiant V avec le domaine «& (V) & R? à l’aide de l’appli- 
cation & et posant % (x, y) = xy, & (x) = x7!, on obtient évidem- 
ment un groupe de Lie local. 

Deux groupes de Lie locaux (V,, w,) et (V,,%.) s'appellent àiso- 
morphes, s’il existe des voisinages de zéro V, & V, et V, & V, 
et un difféomorphisme &: V,— V, tels que le diagramme 


V, x V, — R°> V, 


est commutatif (c’est-à-dire que «& (1, (x, y)) = 1%, (« (x), & (y)) par- 
tout où les deux membres de l’égalité sont définis). 

Il est clair que tous les groupes locaux obtenus à partir d’un 
même groupe de Lie G de la manière décrite sont isomorphes entre 


eux. 
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Il peut néanmoins arriver que des groupes locaux construits 
à partir de deux groupes de Lie G, et G, sont isomorphes tandis que 
les groupes eux-mêmes ne le sont pas. On dit alors que les groupes 
G; et G; sont localement isomorphes. 

Exemple 2. Supposons G =R, G =T. Pour V,cG, 
prenons l'intervalle (—x, x) et pour V, € G, le complément au point 
—1 ET. L'application œ(x) — ex établit un difféomorphisme 
entre V, et V, permutable à la multiplication. Par conséquent, 
G, et G; sont localement isomorphes. 

Théorème 1. Chaque algèbre de Lie est une algèbre de Lie 
d’un certain groupe local de Lie. Les groupes de Lie locaux sont isomorphes 
si et seulement si les algèbres de Lie correspondantes le sont aussi. 

La démonstration de ce théorème sera donnée dans la suite. 

Pour décrire la liaison entre les groupes de Lie et les groupes de 
Lie locaux, nous aurons besoin du fait suivant. 

Théorème de monodromie. Soient G un groupe de 
Lie connexe et simplement connexe, H un groupe de Lie quelconque. 
Chaque homomorphisme local de G dans H (c’est-à-dire chaque homo- 
morphisme des groupes locaux correspondants) se prolonge d'une façon 
unique en un homomorphisme global de G dans H. 

En outre, nous aurons souvent recours au théorème bien connu 
de E. Cartan : chaque algèbre de Lie est une algèbre de Lie d’un certain 
groupe de Lie. 

Théorème 2. À chaque algèbre de Lie g correspond un seul 
groupe de Lie G connexe et simplement connexe, pour lequel g est 
une algèbre de Lie. Tous les groupes de Lie connexes possédant ceite 
propriété sont de la forme G/D, où D est un sous-groupe invariant 
discret inclus dans le centre du groupe G. 

Démonstration. Soit G, un groupe de Lie à algèbre 
de Lie g (un tel groupe existe d’après le théorème de E. Cartan). 
Nous supposerons G, Connexe, sinon nous pourrions considérer au 
lieu de G, la composante connexe de l’unité sans modifier aucune- 
ment l’algèbre de Lie (et même le groupe local correspondant). 

Désignons par G le revêtement universel du groupe G, (voir 6.1). 

La projection p: G—- G, est un homomorphisme de groupes de: 
Lie et D = p”!(e) est un sous-groupe invariant discret de G. 

D'après le résultat du problème 1 de 2.6, D appartient au centre. 
du groupe G. 

Chaque groupe de Lie G;, ayant g pour algèbre de Lie, peut 
donc être mis sous la forme G/D, où G est un groupe de Lie simple- 
ment connexe avec la même algèbre de Lie. Si G, et G, sont deux 
groupes de Lie simplement connexes avec une même algèbre de Lie, 
alors, d’après le théorème 1, ils sont localement isomorphes. En vertu 
du théorème de monodromie, l’isomorphisme local & se prolonge 
à un homomorphisme global a, : G,—G, et l'application inverse «1 


« 


à un homomorphisme global &,: G,;-> G,. Les applications «ce, 
S* 
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et &.&, coïncident dans un voisinage de l’unité avec l'application 
identique. Puisque G, et G, sont connexes, ces applications sont 
partout identiques. Par conséquent, G,;, et G,; sont isomorphes. 
Le théorème est démontré. 


Problème 6. Démontrer que les groupes G/D, et G/D,, où G est un 
groupe de Lie simplement connexe, et D, et D, sont des sous-groupes invariants 
descrets, sont isomorphes si et seulement s’il existe un automorphisme du grou- 
pe G qui envoie D, dans D.. 

Indication. Recourir au théorème de monodromie. 


Pour énumérer tous les groupes connexes de Lie de dimension <3 
faisons appel aux résultats obtenus. Les algèbres de Lie correspon- 
dantes ont été décrites dans 6.2. Citons les groupes simplement 
connexes Correspondants : 

I dimG=1, G=RK. 

II. dimG—2 

a) G = R°? avec l'opération d’addition; 

b) Gest le groupe des transformations affines de la droite ne 
modifiant pas l'orientation (pour les coordonnées a, b de l’exemple 5 
de 6.1 ce groupe est défini par la condition a > 0). 

III. dimG—3 

a) dim [g, gl — 0, G — R° avec l'opération d’addition; 

b) dim [g, gl = 1, [9, [g, gll — {0}, G est le groupe de Lie 
des matrices triangulaires de la forme 


LE &: Z 
O0 1 y}l,zx, y, zCR; 
0 O0 1 


c) dim [g, 8) = dim [9, [9, 8ll—1, Gest le produit de R par 
le groupe de l’exemple II b); 
d) dim [g, gl = 2. 
Soit À une matrice non dégénérée définissant l'algèbre g en 
vertu du problème 6 de 6.2. 
D sh AR a(t) b() 
= NE 
Posons e 2 Ti e- mal Pour G on peut 
prendre l’espace R° avec la loi de multiplication 


(x, y, 2) (x, ÿ'; z') re 
= (x +a(z)z +b(z) y", y +c(z)zx + d(z) y’, z + 2). 
e) [g, gl =g— R* ayant le produit vectoriel pour commuta- 
teur, G est le groupe SU (2) des matrices unitaires d'ordre deux à 


déterminant égal à l'unité [lisomorphe au groupe des quaternions 
de norme À (voir l'exemple 6 de 6.1)]; 
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f) a = [9g, 9l est l'algèbre des matrices réelles de trace nulle, 
G est le revêtement universel du groupe SZ (2, R) des matrices 
réelles d'ordre deux, à déterminant égal à l’unité. (On peut démon- 
trer que ce groupe ne peut pas être mis sous la forme de sous-groupe 
de GLi(n, C) pour aucun n fini.) 

Il nous reste à énumérer tous les sous-groupes invariants dis- 
crets des groupes cités, à équivalence (dans le sens du problème 6) 
près. Il est alors utile de se rappeler que ces sous-groupes invariants 


appartiennent au centre du groupe. 
Problème 7. Démontrer que les centres des groupes cités plus haut 
sont de la forme suivante: 
I. Z (G) = G. 
II. a) Z(G) = G, 
b) Z (G) ={e}. 
III. a) Z(G) = G, 


4 Oz 
») z(G=| 0 1 O0 
[0 0 1 


La 
c) Z(G —RX({e}, 
Le}, si at( 5 5): 2€R*, 
{(o,0, )},nez si 4 ( 0 G).aer*, 
e) Z(G ={, —1} 


f) Z(G) = p-1({1, —1}, où p: G—+ SL(2, R) est la projection 
naturelle. 


d) Z (G)— 


Nous laissons au lecteur le soin de terminer la classification 
des groupes de Lie de dimension <3. En particulier, il obtiendra 
alors une démonstration fort simple du théorème 1 de 6.1 sur la 
classification des groupes de Lie de dimension 1 (en supposant 
a priori que les groupes soient différentiable). 


Pour la démonstration des théorèmes cités ci-dessus voir les livres [46], [10]. 


6.4. Application exponentielle. Un rôle important dans l’étude 
des groupes de Lie revient aux sous-groupes à un paramètre, c'est-à-dire 
aux sous-groupes qui sont des groupes de Lie de dimension un. 
Le paramètre { peut être choisi de sorte à avoir les égalités 


x (0) =e, x(t)x(s) = zx(t +s). (1) 
Vu que x(t) est une courbe différentiable, un vecteur tangent 


est défini 
X — x (0)E 8. (2) 
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Théorème 1. Pour chaque vecteur X € g il existe une seule 
courbe différentiable x (t) qui satisfait aux conditions (1) et (2). 

Convenons d'adopter les notations suivantes. Si £ est un vecteur 
tangent au groupe G au point g,, gë (respectivement Eg) représente 
le vecteur tangent à G au point gg, (respectivement au point gog) 
qui s'obtient à partir de Ë par l'application L (g), (g,) (respective- 
ment R (g), (g)), où L (g) (respectivement R (g)) est une transla- 
tion par l'élément g à gauche (respectivement à droite). 


Problème 1. Démontrer l'identité 
gég"1= Ad g£, geG, EE. (3) 


Indication. Voir dans 6.2 la troisième méthode de construction de 
l’algèbre de Lie correspondant au groupe de Lie. 
Problème 2. Démontrer que (1) entraîne l'identité: 


æ(t)x (0) = zx’ (t), zx’ (0) x (t) = zx’ (t). (4) 
Indication. Mettre les conditions du problème sous la forme 


L'(z(t))z(s = z(t+s) ou R(zx(t))z(s) = z(s + t). 


Soit maintenant X un élément fixe de 4. Considérons les champs 
de vecteurs sur G donnés par la formule 


Ex (g) = £X, nx(g) = X£g. 


Problème 3. Démontrer qu’un champ de vecteurs sur G est invariant 
à gauche (respectivement invariant à droite), si et seulement s’il est de la forme 
Ex (g) (respectivement nx (£)) pour un certain X €. 
Indication. Ecrire la condition d'’invariance à gauche (à droite) 
du champ Ë (g) (n (£)) sous la forme 
g6 (h) = E(gh), n (à) g = n (he) 


et démontrer les identités 
81 (826) = (gage) &, (Ne) ge = N (gg). 


Il est maintenant aisé de démontrer le théorème 1. De l'égalité (4) 
il découle que la courbe x (t), qui satisfait aux conditions (1) et (2), 
est tangente en chacun de ses points au champ de vecteurs Ë; (g) 
(ainsi qu’au champ nx (£g), vu que ces champs coïncident sur la 
courbe x (t), cf. le problème 1). L'existence d’un groupe local de 
dimension un avec vecteur tangent X découle maintenant du théorè- 
me sur l'existence et l’unicité de la solution d’un système d’équa- 
tions différentielles (voir 5.2). 


Problème 4 Montrer que chaque groupe local de dimension un dans 
le groupe de Lie G se prolonge à un sous-groupe de Lie. 

Indication. Supposons x (t) définie pour | é | a et satisfaisant à la 
condition (1) pour |t|+|s|< a. 

Posons tERz(t) = x (4/N)\ pour tout t € R, où le nombre N est choisi 
si grand que | &/N | a. Démontrer que x (t) ne dépend pas en fait du choix 
de N et que (1) est satisfait pour tous les t et s. 
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Soit maintenant G un groupe de Lie et g son algèbre de Lie. 
Définissons l'application exponentielle exp: g—G de la manière 
suivante : 


exp À = x (1), (9) 


où zx (t) est le groupe à un paramètre qui correspond au vecteur X 
d’après le théorème 1. (Cette application est également appelée 
canonique.) 

Une des propriétés principales de l’application exponentielle est 
le fait qu’elle est fonctorielle, ce qui s'exprime par la commutati- 
vité du diagramme : 


P 
Gi ——> Go 
exp}] Î exp 
Px (e) 
———— d2 


La démonstration de ce fait découle immédiatement de la défi- 
nition de l’application exponentielle. 

Corollaire 1. Les représentations de dimension finie d'un 
groupe de Lie local correspondent d’une manière unique aux repré- 
sentations de leurs algèbres de Lie. 

Corollaire 2. Pour chaque groupe de Lie connexe et simple- 
ment connexe les représentations de dimension finie correspondent 
bijectivement aux représentations de l'algèbre de Lie. 

(Ceci découle du théorème de monodromie, voir 6.8.) 

Considérons en détail le cas où G = GL(n, R) est le groupe 
des matrices réelles non dégénérées d'ordre n. L’algèbre g coïncide 
dans ce cas avec l’espace Mat, (R) (voir exemple 1 de 6.3). 


Problème 5. Démontrer que l’équation différentielle 
x" (t) = Xzx (t) 
à condition initiale x (0) = 1 a pour solution la fonction 
e tRYR 
z (t) = etX — > À . (6) 


k1 
k=—0 


Indication. Comparer avec 4.2. 


Corollaire. L'application exponentielle pour les groupes matriciels 
est de la forme 


LA 8 


k 
expX=ei = L. 


R=0 
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Problème 6. Démontrer les égalités 


À À } 
À À € € 
À 1 0...0 é ! n | 
0 1:00 À 
ENERp Roue O el el : mi 
0 9 0...A: MU 
[| 0 O0 0 eÀ 
al ; a—d b 7 
nie 1 O1 she} 2 
2) exp (° a)=° chp È 1) FE ; 
c 
L 2 / 1 
où 
— 2 
p— (<=) + bc, 
/ (8) a cC 4 0 O 0 a c 
93) exp| —a O0 b |— cosrl 0 1 os a OO b|+ 
r 
—c —b 0 0 0 17 —c —b 0 
b2 — be ab 
Lie” ne D es | 


où r= Va2+b2+ 02. 

En vertu de la théorie générale des équations différentielles 
(théorème sur la dépendance de la solution des conditions initiales 
et des coefficients du système) exp est une application différentiable. 
Montrons que l'application exp, (0): g— g est identique. 

En effet, les sous-groupes à un paramètre correspondant aux 
vecteurs X et £X sont évidemment liés par l'égalité 


Ti x (S) = Zx (ts). 


Donc, exp &4X — x;x (1) = xx (t), c’est-à-dire que l’application exp 
envoie la courbe {4X} © g dans la courbe zx (ft) € G. En passant 
à l’application dérivée, nous obtenons 

exp, (0): XX, 
ce qu'il fallait démontrer. 

Corollaire. Dans un certain voisinage U du point d'origine 
X =0, l'application exp est un difféomorphisme. 

Nous allons désigner par In l'application exp”! qui n’est défi- 
nie, en général, que dans un certain voisinage de l'unité du groupe. 
Le système de coordonnées locale (exp Ü, In) s'appelle canonique. 

Un groupe de Lie G s'appelle exponentiel, si le système de coor- 
données canoniques recouvre tout le groupe G. La classe des groupes 
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exponentiaux contenant tous les groupes nilpotents connexes et 
simplement connexes fait partie de la classe des groupes résolubles. 


Problème 7. Montrer quela loi de multiplication dans les coordonnées 
canoniques est de la forme 


1 
Ps v)=xty + le, vl+..., (7) 
où les points de suspension désignent des termes d'ordre >3. 


Indication. Recourir à la formule (5) de 6.3 et au u fait que (exp X)-1=— 
= exp (—À). 


La formule (7) montre que la loi de multiplication du groupe, 
jusqu'aux termes d'ordre deux, peut être retrouvée à partir de la 
loi de commutation dans l’algèbre de Lie. Or, il se trouve que tous 
les autres termes du développement de 1 (x, y) en série de Taylor 
peuvent être exprimés à l’aide de l’opération de commutation. Nous 
n’énoncerons ici que la réponse définitive. Pour la démonstration 
voir les livres [35] et [54]. 

Théorème 2 formule de Campbell-Haus- 
dorf-Dynkine). La loi de multiplication dans les coordonnées 
canoniques est de la ire 


en (— 1)m-1 [x#1y ES zkmylm] 
p(x, y)= > m D CAPE 2 HE (8) 
m=1 k.+1;21 
nes .>0 
où le symbole [xix, . .. A] signifie Z brel ess al 


Remarque 1. La formule (8) s'obtient de la série formelle 
pour la fonction In (e*e”) des variables non commutatives x, y, 
si l’on remplace chaque monôme D par l’expression [DI. 

Remarque 2. Contenant un grand nombre de termes sem- 
blables non regroupés, la série (8) s'avère donc peu pratique pour 
les calculs. 

Sans avoir de valeur pratique, cette série joue néanmoins un 
rôle important dans la théorie, car elle démontre le théorème 1 de 6.3. 

Dans de nombreuses questions de la théorie des groupes de Lie, 
il importe de connaître non pas la fonction 1 (x, y) elle-même, mais 
seulement sa dérivée partielle pour une des variables à l’origine 
des coordonnées. On peut indiquer la forme explicite suivante de 
cette dérivée : 

Théorème 3. Posons L,(y) = R,(x) ="%(x, y). Alors 


(Lexp xx (0)=b(—adX), (Rezp xx (0) = b (ad X), (9) 


O0 
B . 
— i— zk (B, sont ici les nombres de Bernoul- 
hk=0 


où b (z) — 
li). 
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L'énoncé du problème se déduit facilement de la formule sui- 
vante d’un intérêt particulier. 


Problème 8 Démontrer l'égalité 
exp (X + tŸ) exp (—X) = exp (ta (ad X) Y + o (t)), (10) 


ez — 1 ss zh 
COS = Zi Œ+Di 
k=0 


Indication. En vertu du théorème d’Ado (voir 6.2), il suffit de con- 
sidérer le cas d’une algèbre matricielle. 


Corollaire 1. L'application exp est un homéomorphisme 
dans un voisinage du point X si et seulement si les valeurs propres de 
l'opérateur ad X diffèrent de H2ni, Häni, H6ni, ... 

Corollaire 2. Une mesure sur le groupe G invariante à 
gauche (respectivement à droite) prend en coordonnées canoniques la 
forme 

bp: (X) dX (respectivement p, (X) dX), 


où dX est la mesure euclidienne usuelle dans 9, et les fonctions p, et p, 
sont données par les formules 


pr (X) = det [x (—ad X)], p,(X) = det [a (ad X)] (11) 


{la fonction & étant la même que dans le problème 8). 
Corollaire 3. Pour qu'il existe une mesure invariante des 
deux côtés sur le groupe G, il faut et il suffit que l’on ait l'égalité 


tr ad X — 0 quel que soit X € 9. (12) 


En effet, po,(X)/o, (X) = det (e 214) — etr ad 4, 
On peut obtenir la formule (10) d’une autre manière, en consi- 
dérant la fonction 


Ô 
(s, {)—exp(—sci) 7 EXP Cr, 
où c, est une certaine courbe dans g. 
Problème 9. Démontrer l'égalité 
Ô d 
rs P(s,t)—exp(— sci) (+ a) exp (scz). (13) 


Posant ensuite c; = X + tY et intégrant la relation (13) sur s 
de O0 à 1, on obtient l'égalité (10). 


DEUXIÈME PARTIE 


NOTIONS ET MÉTHODES 
FONDAMENTALES DE LA THÉORIE 
DES REPRÉSENTATIONS 


$ 7. REPRÉSENTATION DES GROUPES 


7.1. Représentations linéaires. Comme nous l’avons déjà dit, 
le terme « représentation » signifie, dans le sens large, un homomor- 
phisme T du groupe G& dans le groupe des transformations d’un cer- 
tain ensemble X 1). La représentation T s'appelle linéaire, si X 
est un espace vectoriel et les transformations T (g) sont les opéra- 
teurs linéaires quelconques. 

Si X est un G-espace quelconque, l’espace vectoriel Z (X) des 
fonctions sur X se trouve alors muni d’une représentation linéaire T : 


I (8) f1 (0) = | 


Ce fait permet d'utiliser les représentations linéaires pour étudier 
les représentations dans le cas général. 


{(xg) pour un G-espace à droite, 
f (gx) pour un G-espace à gauche, 


En guise d'exemple d’une telle application, citons la théorie spectrale des 
systèmes dynamiques. 

Appelons système dynamique général tout espace X muni d’une mesure 
et d'un groupe de transformations G conservant la mesure u (ou au moins sa 
‘ classe d'équivalence). Le cas où X est l’espace des phases d’un système mécani- 
que, u la mesure de Liouville, et G un groupe dynamique définissant l’évolution 
du système en est l’exemple le plus important. L'objet de la théorie spectrale 
des systèmes dynamiques est l’étude et la description des différentes propriétés 
D Er ei en termes de la représentation unitaire 7 qui apparaît dans 
L?(X, L). 


Les représentations projectives T, pour lesquelles X est un espace 
projectii et 7 (g) sont des transformations projectives, forment une 


1) Une définition plus générale des représentations (comme faisceaux sur 
une re topologie de Grothendieck) a été proposée par A. Geronimus ; 
voir 
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classe de représentations analogue à celle des représentations linéai- 
res. Vu que l’espace projectif X est un ensemble de droites dans un 
espace vectoriel Z et les représentations projectives de X sont induites 
par les transformations linéaires de Z, nous pouvons considérer 
toute représentation projective comme une application T : G—Aut Z, 
qui possède la propriété 


T (8182) = © (81, Le) T (gi) T (g2), 


où c est une certaine fonction numérique sur G X G. 
En particulier, chaque représentation linéaire de G dans Z 
induit une représentation projective. 


La mécanique quantique constitue un domaine fort important d'application 
de la théorie des représentations projectives. Comme on le sait, le rôle de l’espa- 
ce de phases revient en mécanique quantique à l’espace projectil P (1), composé 
de droites complexes dans l’espace hilbertien complexe de dimension infinie. 
Les transformations admissibles de P (H) sont les transformations projectives 
correspondant aux opérateurs unitaires et antiunitaires dans }. 


Dans ce qui suit, nous considérerons, en général, seules les repré- 
sentations linéaires que pour plus de simplicité nous appellerons 
représentations tout court. 

L'ensemble des représentations du groupe G dans un espace 
vectoriel sur un corps À non nécessairement commutatif forme une 
catégorie IT (G, X). Les morphismes de cette catégorie sont les 
opérateurs d’entrelacement, c'est-à-dire les opérateurs permutables 
à l’action du groupe. Les objets isomorphes de II (G, X) s'appellent 
représentations équivalentes. 

L'ensemble des opérateurs d’entrelacement pour les représenta- 
tions 7, et T, agissant dans les espaces V, et V, est désigné par 
6 (T;, T,) ou Hom, (V,, V,). Au lieu de @ (T, T) — Hom, (V, V) 
nous écrirons €(7) ou End, V. La dimension de l’espace @(T,;, T,) 
est désignée par c(T,, T,) et appelée nombre d'entrelacement. Si 
C(Ts, To) = C(T,, T;) = 0 les représentations T, et T, s'appellent 
disjointes. 

Exemple. Supposons G = R; la représentation Ty agit dans 
l’espace P, de tous les polynômes en x suivant la formule 


[T (6) f1 (x) = f(x +0, 


tandis que la représentation T, est donnée par cette même formule 
dans l’espace P, des polynômes dont le degré ne dépasse pas #, 
h=0;: 42e 


Problème 1. Démontrer que c(Tx, Ty) = 0, c(Ty, To) = k + 1. 

Indication. 6 (7x, T) est engendré par les opérateurs 1, d/dx, ... 
..., dR/dzk. 

Problème 2. Si les représentations 7 et S sont de dimension finie, 
alors c(T, S)= c({(S,T). 
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Indication. Faire appel au fait que, pour une matrice de dimension 
finie, le rang pour les colonnes coïncide avec le rang pour les lignes. 


Soit 7 la représentation du groupe G dans l’espace V. La cor- 
respondance g+> T (g”1)*, où + désigne le passage à l'opérateur 
adjoint dans l’espace dual V*, est une représentation de G dans V*. 
Cette représentation s'appelle adjointe ou contragradiente à la repré- 
sentation 7. Nous la noterons T*. 

Pour éviter une confusion que peut provoquer cette notation, 
remarquons que l'opérateur T* (g), d’après la définition de T*, est 
égal à T (g-!)* et non pas à T (g)*. 

Si, dans l’espace V de la représentation T, il existe un sous- 
espace Ÿ,, invariant par rapport à tous les opérateurs T (g), g€ G, 
on dit que la représentation T est réductible. La restriction de T (g) 
sur Ÿ, définit une représentation 7, du groupe G dans l’espace V.. 
Elle s'appelle sous-représentation de T. Dans l’espace quotient 
V, = V/V, une représentation de G appelée représentation quotient de T 
est naturellement induite. 

Si le sous-espace invariant V, € V possède un espace supplémen- 
taire invariant (qui s’identifie naturellement à V,) la représenta- 
tion T s’appelle décomposable et s'écrit T = T; + T.. 


Problème 3. Démontrer que la représentation T, + 7, est la somme 
de T7, et 7, dans la catégorie II (G, K). 


Toute représentation T sans sous-représentations non triviales 
s'appelle algébriquement irréductible. 

À titre d'exemple de représentation réductible, mais non décom- 
posable, citons la représentation 7; ci-dessus du groupe KR dans l’es- 
pace P, pour #4 >> (. 

Les représentations pour lesquelles chaque sous-espace invariant 
possède un supplémentaire invariant s'appellent complètement réduc- 
tibles. 

Dans la catégorie II (G, X) l'opération de produit tensoriel est 
définie. Si T; est une représentation dans l’espace vectoriel Y; 
sur À, i — 1, 2, alors la représentation 7, © T, agit sur V, @ V, 

K 


suivant la formule 
(Ta Q Te) (8) : Es © Éer> Ta (g) E1 © To (g) Ë2. 


Problème 4. Démontrer que les opérations de somme et de produit 
tensoriel sont compatibles avec la relation d'équivalence et, par conséquent, 
sont bien définies sur l’ensemble des classes de représentations équivalentes. 

Problème 5. Démontrer les égalités 


c(T;, + To, T3) = c (T1, Ts) + c (T;, T3), 
C(Tis To + Ty = € (Ts To) + € (Tu: Ta), 
C(T1 © To, Ta) = c(T1, TE @ Ta), si dim 7, << oo. 
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Indication. L'espace Z (T;, T,) peut être interprété comme sous- 
espace des éléments G-invariants dans l’espace Hom (V,, V,), sur lequel G agit 
suivant la formule 


g' Ar T3 (g) AT1 (g)"1. 


Pour toute sous-catégorie IT" & IT (G, KX) fermée par rapport à 
l'opération de somme de représentations, on peut définir le groupe 
de Grothendieck T (II'). 

Par définition, l(I[') est le groupe abélien engendré par les 
classes d'équivalence [T] des représentations T de Ob IT’ avec les 
relations suivantes : 

[T1] = [TI] + IT], si T, est une sous-représentation de T, et 
T, la représentation quotient correspondante. 

Si la catégorie Il” est fermée par rapport au produit tensoriel, 

T'(II") sera un anneau commutatif par rapport à l'opération 


[TITI = (7, @ T,l. 


Si II’ est fermée par rapport à l'opération de la puissance k extérieure, 

k = 2, 3, ..., alors on peut introduire sur [' (II’) une structure de À-anneau. 

Cette structure est définie par l’homomorphisme À, du groupe additif de l’anneau 
O0 


dans le groupe multiplicatif des séries de la forme 1+ > antk, où les a, sont des 


Rk—1 
éléments de l’anneau. Pour le cas d’un anneau de Grothendieck, l’homomor- 
phisme À, est de la forme 


(TD =1+ D) LAËTIE. 
k=1 


L'application G+>T (II (G, X)) est un foncteur contravariant de la caté- 
gorie des groupes dans celle des À-anneaux. Pour plus de détails sur ce foncteur 
et ses applications voir le livre de L. Husemüller [32]. 


Si À est un sous-corps de Z, les foncteurs naturels de IT (G, X) 
dans IT (G, L) et inversement, appelés substitutions des scalaires, 
sont alors définis. Le premier foncteur consiste à passer de l’espace V 
sur Æ à l’espace VL — V @ L sur L. Le deuxième signifie que l’es- 

K 


pace V sur ZL est considéré comme un espace sur KÆ ; dans ce cas, on 
le note VX. L'exemple le plus important est obtenu lorsque À = R, 
L — C. Les foncteurs correspondants s'appellent en général com- 
plexification et réalisation. 


7.2. Représentation des groupes topologiques dans les espaces 
topologiques vectoriels. Dans le cas où G est un groupe topologique 
et V un espace topologique vectoriel, nous supposerons en général, 
sans l’expliciter, que la représentation considérée T est continue, 
c'est-à-dire que l’application (g, Ë) + T (g) 6 est continue comme 
fonction de deux variables. 
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Il suffit le plus souvent d'imposer à cette représentation une restric- 
tion plus faible, à savoir: seule la continuité séparée (qui signifie 
que l’homomorphisme T du groupe G dans le groupe Aut Y, muni 
de la topologie opératoire forte, est continue). 


Problèm e 1. Si Gest localement compact et V un espace de Banach, 
la continuité séparée de la représentation 7 équivaut à sa continuité. 
Indication. Utiliser le théorème de Banach-Steinhaus de 4.1. 


Le terme « opérateur d’entrelacement » pour les représentations 
continues des groupes topologiques signifiera toujours « opérateur 
d’entrelacement continu » et le nombre d’entrelacement, la dimension 
de l’espace de ces opérateurs. 

Les représentations continues du groupe topologique G dans tous 
les espaces topologiques sur le corps Æ forment une catégorie: 
RT (G, K). 

Si un sous-espace fermé V,, invariant par rapport à tous les 
opérateurs 7 (g), est inclus dans l’espace V de la représentation T7, 
alors la restriction T, de la représentation 7 sur V, s'appelle sous- 
représentation (topologique) de T, et la représentation T,, qui appa- 
raît dans l’espace quotient V, — V/V,, représentation quotient 
(topologique) de T. 

La représentation T s'appelle topologiquement irréductible si elle 
ne possède aucune sous-représentation non triviale, et complètement 
irréductible si chaque opérateur est la limite faible d’un certain 
filet consistant des combinaisons linéaires des opérateurs T (g), 
gEG. 
On dit qu’une représentation T' est ({opologiquement) décompo- 
sable, s’il existe dans l’espace V des sous-espaces fermés invariants 
V,, V, tels que V est isomorphe à la somme directe V, & V,. On 
écrit dans ce cas T = T, + T,, où T'; est la restriction de T sur V;. 


Problème 2. La représentation T7, + T, est la somme de T7, et T, 
dans la catégorie RAT (G, 


L'opération de produit tensoriel ne peut être définie de façon 
raisonnable que dans des sous-catégories particulières de RAT (G, K). 
Ainsi, pour les représentations dans des espaces de Banach, il est 


naturel d'utiliser l'opération ©, et pour les représentations unitaires 
dans lesespaceshilbertiens l’opération du produit hilbertien (voir. 4.1). 
I. Gelfand a proposé la notion suivante de l’irréductibilité ten- 
sorielle d’une représentation. 
Une représentation 7 du groupe G dans l’espace V est tensoriel- 
lement irréductible, si pour chaque représentation triviale S du 
groupe G dans l’espace nucléaire W chaque sous-espace fermé G-in- 


variant de VŸ © W est de la forme V © W,, où W, est un sous-espace 
de W. 
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Les catégories RT (G, K) pour les groupes G non compacts sont 
très peu étudiées. Par exemple, pour G — Z et K — C, la classifi- 
cation des représentations équivaut à celle des opérateurs linéaires 
continus (à similitude près) dans les espaces vectoriels topologiques. 
Ce problème classique de l’analyse fonctionnelle est loin d'être 
résolu. On ne sait même pas classifier les représentations topolo- 
giquement irréductibles. Le problème de l'existence des représenta- 
tions irréductibles de dimension infinie formulé il y a une quarantai- 
ne d’années par S. Banach n'est pas résolu même aujourd'hui. 

Dans le cas de dimension finie le problème de la classification 
des représentations du groupe Z s’avère résolu grâce au théorème de 
réduction d’une matrice à sa forme normale jordanienne. Pour le 
groupe Z + Z ce problème nous amène à celui de réduction simul- 
tanée à la forme canonique d’un couple de matrices permutables. 

Comme l'ont montré I. Gelfand et V. Ponomarev, ce pro- 
blème contient la classification des familles finies de matrices comme 
sous-problème (voir la revue Analyse Fonctionnelle, 3, 4 (1969), 
81-82 (en russe)). 


7.3. Représentations unitaires. La représentation T dans l’espace 
V s’appelle unitaire, si V est un espace hilbertien et T (g) un opéra- 
teur unitaire quel que soit g € G. Les représentations unitaires forment 
la classe des représentations la plus importante et le mieux étudiée. 
La cause en est que: premièrement, les représentations unitaires 
apparaissent naturellement dans diverses applications (systèmes 
dynamiques, mécanique quantique, théorie des champs); deuxième- 
ment, tout un nombre de propriétés remarquables de ces repré- 
sentations rend leur étude bien plus facile. Nous citerons ici quel- 
ques-unes de ces propriétés. D’autres seront décrites dans les para- 
graphes suivants. 


Problème 1. Chaque représentation unitaire est complètement ré- 
ductible. 

Indication. Le supplémentaire orthogonal à un sous-espace invariant 
est invariant. 


Nous verrons plus loin que l'étude des représentations unitaires 
se réduit, dans une grande mesure, à celle des représentations 
topologiques irréductibles. 

L'ensemble des classes d'équivalence des représentations unitai- 
res irréductibles du groupe G est noté G et appelé objet dual au grou- 
pe G. Si le groupe G est commutatif, toutes ses représentations uni- 
taires irréductibles sont de dimension un. Dans ce cas, l'opération 
de produit tensoriel définit dans @ une structure de groupe commuta- 
tif. La représentation identique en est l’élément unité et la repré- 
sentation conjuguée complexe l'élément inverse. 
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Une topologie peut être introduite dans l’ensemble G de la maniè- 
re suivante. Soit TJ une représentation irréductible du groupe G 
dans l’espace H. A chaque ensemble compact K & G, à chaque 
famille finie de vecteurs &,, ..., &, € H et à chaque nombre & > 0 


faisons correspondre un sous-ensemble U (K, Ë,, ..., E,, e&) dans G. 
Par définition, il se compose des classes [S] des représentations 
irréductibles S, dont les espaces contiennent les vecteurs n,, . . ., fn 
tels que : 


[CT (8) 85, £) — (S(g)nsn)l<e pour gEX, 1<i, j<n. 
On prend la famille de tous les sous-ensembles DK ES ss ee) 
pour base de voisinages du point [TI EG. 
Il existe une autre méthode pour définir la topologie dans G. 


Soit G la famille des classes d'équivalence des représentations uni- 
taires quelconques (non nécessairement irréductibles) du groupe G. 


Faisons correspondre à chaque sous-ensemble Ÿ € G un certain 
espace V (#) de fonctions sur G. Par définition, V (#) se compose 
de toutes les fonctions continues bornées sur G que l’on peut unifor- 
mément approcher par les éléments matriciaux des représentations 
des classes [ST Ÿ sur chaque compact. (On appelle élément 
matriciel d’une représentation $S dans l’espace V une fonction de 
la forme gr (n, S'(£g)Ë), où ÉEV, nEV’.) On dit que le 
sous-ensemble Ÿ, est faiblement inclus dans #,, si V(#,) = V (#2), 
et que #, est faiblement équivalent à Ÿ,, si V (#1) = V (#2). 

Théorème 1. Soient T une représentation unitaire irréduc- 
tible d'un groupe localement compact G et [IT] sa classe d'équivalence. 
Le point [T] fait alors partie de l’adhérence de l’ensemble # & G 
si et seulement si [T] est faiblement inclus dans #. 

L'une des affirmations du théorème étant bien évidente, nous 
allons discuter l’autre au $ 10. 

Les représentations unitaires irréductibles possèdent tout un 
nombre de propriétés spécifiques, dont l'énoncé s'avère parti- 
culièrement aisée en faisant appel à la notion de k-irréductibilité. 

Soient Z, un espace hilbertien de dimension k, S, une représen- 
tation triviale du groupe G dans l’espace ZL;. Nous dirons que la 
représentation 7 du groupe G dans l’espace À est k-irréductible, 
si chaque sous-espace fermé de A @ L;, invariant par rapport à 
T © S,, est de la forme H @ LL}, où L4 est un sous-espace de Z;. 

Considérons en plus de détails cette notion pour de différents k. 

Ilest clair que la 1-irréductibilité coïncide avec l’irréductibilité 
topologique. 


Problème 2. Démontrer que la k-irréductibilité pour un k fini équi- 
vaut à la condition suivante: pour des vecteurs linéairement indépendants 


9—0361 
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E1,..., 61€ H quelconques et des vecteurs quelconques mm, . .., 1, € À il existe, 
N 


quel que soit e > 0, un opérateur À de la forme À = D c;T (g;) tel que 
4=1 


[| AË; —n; || < €, i= À, ia ss k. 
Indication. Considérer dans ! @ L, = H @...@H le plus 
petit sous-espace fermé invariant qui conticnt le vecteur (x,, . .., x). 


Corollaire. Si la représentation T est k-irréductible pour 
tous les k finis, alors elle est complètement irréductible. 


Problème 3. Démontrer que la œ-irréductibilité de 7 est équivalente 
à la condition : pour un choix quelconque de vecteurs linéairement indépendants 


Oo 
{£;} vérifiant la condition > ILE; IP << © et une famille de vecteurs quelconques 
i=1 


O0 

{n;:} satisfaisant à la condition D I ni IP ©, il existe, quel que soit e > 0, 

i=1 
N 


un opérateur À de la forme Ÿ, c;T (g;) = À tel que 


iZ1 
D HAE: ml <e. 
i=1 


La représentation T  s’appelle opératoirement irréductible, si 
chaque opérateur fermé permutable aux opérateurs T (g), g€G 
doit être scalaire. (Rappelons que l'opérateur linéaire À défini 
sur un sous-espace D (A) & H s'appelle fermé, si son graphique 
(T À) = {(x, Ax) EH ® H; xED(A)} est un sous-espace de 
H © H.) 


Problème 4 Démontrer que la 2-irréductibilité d’une représentation 
unitaire 7 équivaut à son irréductibilité opératoire. 

Indication. La permutabilité de 4 à T (g) est équivalente à l’inva- 
riance de T (4) par rapport à (7 + T) (g) = (T @ S) (eg). 


Théorème 1. Pour une représentation unitaire T toutes les 
propriétés de k-irréductibilité pour k = 1, 2, ..., © sont équivalentes 
entre elles et à la condition G (T) = C:1. 

Démonstration. Il est clair que la k-irréductibilité 
implique la Z-irréductibilité pour 4 > /. Notons que la 1-irréducti- 
bilité de T implique l'égalité @ (T) — C:1 qui, à son tour, entraîne 
la co-irréductibilité de T. 

Soit T une représentation topolcegiquement irréductible et 
AC @(T). Alors À + A* et i (A — A*) sont hermitiens et appar- 
tiennent également à € (T). Les décompositions spectrales de ces 
opérateurs sont invariantes par rapport à la représentation 7. Par 
conséquent, chaque projecteur de ces décompositions est nul ou 
égal à 1. On peut donc déduire (voir le théorème 2 de 4.5) que les 
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opérateurs À + A* et i (A — A*) sont scalaires. Donc, À l’est 
aussi. 

Supposons maintenant que @ (T) — C1. L'espace H @ L, 
s’identifie naturellement avec H ® ... ® H@ ... (ensemble 
dénombrable de termes). Soit P; le projecteur sur le i-ième terme. 
Chaque opérateur À € 6 (T @ L,) peut s’écrire sous la forme d’une 
matrice infinie || A;; ||, où À;; — P;AP;. Il est évident que 4;;€ 
€ @ (T)et, par conséquent, 4;; = a;;j-1,a;; € C. Donc, €(T @ Ls) — 
= 1 © $ (Le). 

Si W est un sous-espace invariant de Æ @ L4, le projecteur 
orthogonal sur W se trouve dans € (T @ L+) et, par conséquent, 
il est de la forme 1 © P, où P est le projecteur sur Z.. Donc, W — 
— ] @ PL,, ce qui démontre la c-irréductibilité de T. 


Problème 5. Chaque représentation unitaire topologiquement irré- 
ductible est tensoriellement irréductible (voir 7.2). 

Indication. Soient T une représentation unitaire topologiquement 
irréductible de G dans un espace hilbertien Æ, W un espace nucléaire avec action 


triviale de G et V un sous-espace fermé G-invariant de 4 @ W. Utiliser le fait 
que W étant nucléaire, il existe un homomorphisme antilinéaire o: H @ 


@ W —+ Hom (AH, W) permutable à l’action de G. Démontrer que  (V) = 
— Hom (4, W.,), où W, est un sous-espace de W. 
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Le problème de la décomposition des représentations du groupe G 
en composantes aussi simples que possible est l’un des problèmes 
fondamentaux de la théorie des représentations. 

Les chapitres classiques de l'analyse, de la théorie des fonctions 
et de la physique mathématique sont des cas particuliers de la 
théorie générale de la décomposition d’une représentation. Voici 
des exemples : 

la théorie spectrale des opérateurs unitaires (déccmposition des 
représentations unitaires du groupe Z), 

la théorie de la réduction des matrices à la forme normale (dé- 
composition des représentations de dimension finie du groupe Z), 

la théorie des séries de Fourier (décomposition des représenta- 
tions régulières du groupe T), 

la transiormation de Fourier (décomposition de la représenta- 
tion régulière du groupe R), 

la loi de l’addition des moments en mécanique quantique [décom- 
position du produit tensoriel de deux représentations irréductibles 
du groupe SO (3). 

8.1. Décomposition des représentations finies. Chaque repré- 
sentation T est soit indécomposable, soit la somme directe de deux 
représentations T = T; + T,. La même alternative s'applique aux 
représentations 7, et T,. Dans le cas général, ce procédé peut se 


9% 
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poursuivre indéfiniment. Appelons finie (respectivement ftopologi- 
quement finie) la représentation T du groupe G dans l’espace V si 
chaque famille de sous-espaces G-invariants (respectivement de sous- 
espaces G-invariants fermés) dans V strictement monotone par 
inclusion est finie. 

Chaque représentation de dimension finie est finie. La réciproque 
est évidemment fausse, car les représentations irréductibles sont 
toujours finies, sans pour cela nécessairement de dimension finie. 


Problème 1. Chaque représentation (topologiquement) finie est la 
somme (topologiquement) finie de représentations finies irréductibles. 

Problème 2. Supposons que la représentation T dans l’espace V soit 
(topologiquement) finie. Démontrer qu’il existe une famille finie strictement 
monotone de sous-espaces (fermés) invariants 


{0}=VeVic Se Vite PT 


tels que les représentations T;, i = 1, 2, ..., n, dans V;/V;_, sont (topologi- 
quement) irréductibles. 


Les familles {V;} qui satisfont aux conditions du problème 2 s’ap- 
pellent admissibles. Pour les représentations finies, on a 

Théorème 1 (Jordan-Gôlder). La longueur d'une 
famille admissible et les classes d'équivalence des représentations T,; 
(à l’ordre près) sont bien définies par la classe d'équivalence de la repré- 


sentation T. 
Effectuons la démonstration par récurrence sur la 


longueur des familles admissibles. Supposons le théorème démontré 
pour toutes les familles admissibles de longueur nr — 1, et soit 
{V;}, 0O<i<n, une famille admissible de la représentation T 
dans l’espace V. Considérons une autre famille admissible quelcon- 
que : 

0=WEeW ce... CC WmiCcWm=, 
et' posons Wi — W; N V,.. La suite {Wii}, 0<i<m possède 


évidemment toutes les propriétés d’une famille admissible, sauf 
la propriété d'être strictement monotone. 


Problème 3. Démontrer qu'il existe un indice j E [1, m] tel que 


Wi-1 = W; et la famille {Wi}, i  j, soit strictement monotone. 
Indication. Soit Wi l’image de W; dans V/V,.. Puisque V/V,: 
est irréductible, pour un certain j € [1, m] nous avons alors les relations 


Wo=Wi=.. = Wii {0} Wi=Wipi==Wa=V/Vn 


Vérifier que Wi/Wi_1 est isomorphe à W;/W;,., pour i  j, et Wiÿ/Wj_1 — {0}. 


Par hypothèse de récurrence, les classes de représentations engen- 
drées dans W;/W:_, pour à € [1, ml, i = j, sont les mêmes que celles 
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des représentations T,, ..., T,_. En particulier, nous obtenons 
m—=n. En outre, la représentation engendrée dans W;/W,.,, est 
évidemment équivalente à T,. 

Pour démontrer le théorème, il suffit de le vérifier pour n = 1, 
ce qui est trivial. 

Corollaire. Le groupe de Grothendieck de la catégorie des 
représentations finies est un groupe abélien libre, engendré par les 
classes d'équivalence des représentations irréductibles. 

Pour les représentations topologiquement finies, le théorème de 
Jordan-Gülder n’est plus forcément vrai. 


Citons un exemple. Soit Æ un espace hilbertien avec base {e;}, 1 << i < oo. 
Désignons par G}, le groupe des opérateurs inversibles dans Æ qui possèdent la 


O0 
propriété: (4e, e;) — (e;, e;) si i > N et j > N. Posons Gx — U GN. Intro- 
N=1 
duisons l'opérateur A: e, —- ÀApez, Où {A4} est une suite de nombres positifs 
tendant vers O0 pour k —+ oc. . 
Dans l’espace V = H @ H considérons le groupe G des opérateurs définis 
par les matrices de la forme 


e- (4 de au 


0 B 
où A,BEGx. 
Soit V, l’ensemble des vecteurs de la forme 0) et V: l’ensemble des vec- 
teurs de la forme Fa , t € H. On peut vérifier que {0}= VV, cV,eV, = V 


et {0} = V5,  Vj € Vi = V sont deux familles admissibles, faisant apparaître 
des familles de représentations topologiquement irréductibles différentes 


Ti(g)= 4, Ta(g)=B; Ti(g)=ATIBA, Ti(g)— AAA°I. 


La démonstration ci-dessus ne peut être appliquée au cas topologique, parce que 
l’image d’un sous-espace fermé par une application continue n’est pas nécessaire- 
ment fermé. 

Dans notre exemple, l’image V; dans V/V, n’est pas fermée (elle est isomor- 
phe à l’image de l’opérateur A). On peut également montrer que la longueur 
de la famille admissible n’est plus invariante dans le cas topologique aussi. 
L'exemple correspondant est basé sur le fait que, dans un espace hilbertien X, 
on peut indiquer trois sous-espaces V., V, et W, tels que V, € V,, W (\ V, = 0 


et (WU V)i= 0 


Le résultat du problème 2 réduit l'étude des représentations 
finies à celle des représentations irréductibles et de certaines rela- 
tions particulières entre elles. Explicitons le caractère de ces 
relations pour le cas n — 2. 

Soit T une représentation réductible du groupe G dans l’espace Y. 

Examinons à quel point la représentation TZ peut être définie 
par sa sous-représentation et par la représentation quotient cor- 
respondante. Soit V, un sous-espace invariant et V, un espace qui 


lui est supplémentaire. 
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Dans le cas topologique nous devons supposer que V, soit un 
sous-espace fermé supplémentable, c’est-à-dire qu’il existe un sous 
espace fermé V,, tel que V est isomorphe à V, ® V, (somme dans 
la catégorie des espaces vectoriels topologiques). 


Dans un espace hilbertien V chaque sous-espace fermé V, est supplémentable. 


Il suffit pour cela de poser V, — Vi. 

Dans les espaces de Banach cle n’est pas ainsi. Par exemple, dans l’espace 
C (T) le sous-cspace 7 des fonctions continues possédant un prolongement analy- 
tique à l’intérieur du cercle n’est pas supplémentable. 


Désignons par T, (g) la restriction de T (g) à V,, par 7, (g) la 
restriction de T'(g) à V,, suivie de la projection sur V, parallèle 
à V,et par T,, (g) la restriction de T (g) à V, suivie d’une projection 
sur V, parallèle à V,. L'opérateur T (g) se met alors sous forme de 
matrice : 


re | 


Il est évident que 7, est une sous-représentation et T, la repré- 
sentation quotient de 7. L'application gr T,, (g) € Hom (V;, V.) 
n’est pas une représentation. Elle satisfait à l'identité suivante 
découlant de la loi de multiplication des matrices de la forme (1): 


Ty (8182) = Ti (g4) Ta (g2) + T: (g1) T3 (82). (2) 
Posons Z (g) = Tis (8) Ta (8). 


Problème 4. Démontrer que l'identité (2) équivaut au fait que Z (g) 
est un cocycle de dimension un sur le groupe à valeurs dans l’espace 


Hom (V,, V,) sur lequel G agit suivant la formule g: AT, (g) AT (g)7! 


Le cocycle construit dépend non seulement de la représentation 
initiale 7 dans l’espace V, mais aussi du choix de l’espace supplé- 
mentaire V2. 


Problème 5. Démontrer qu’un autre choix de V, amène à remplacer 
Z (g) par un cocycle cohomologique quelconque. 


Par conséquent, la représentation 7 définit une certaine classe 
de cohomologies h E H1(G, Hom (V,, V,)), tout en étant définie 
elle-même (à équivalence près) par cette classe. Nous allons désigner 
par le symbole [T,, h, T,] la classe d'équivalence de la représenta- 
tion 7. En particulier, [T,, 0, T,] = ÎT, + Pl. 

Ainsi, pour rétablir la représentation indécomposable T à partir 
de sa sous-représentation T, et de la représentation quotient 7, il 
nous faut savoir une certaine classe non nulle de cohomologies 
du groupe G. 


$ 8. DÉCOMPOSITION DES REPRÉSENTATIONS 435 


Le cas général (n représentations irréductibles T;) peut être étudié par 
itération des raisonnements ci-dessus. Il serait intéressant d'obtenir une méthode 
directe pour retrouver 7' à partir de la famille (ordonnéc) des composantes irré- 
ductibles {T;} dont il s’agit au problème 2. 

Un autre problème non résolu: comment appliquer cette construction 
de cohomologies de dimension un au cas topologique. Pour les sous-espaces 
fermés supplémentables la théoric correspondante a déjà été construite (voir, 
par exemple, l’article de C. Moore [119]). 

Le cas général est bien plus difficile. II a pour sous-problème la théorie des 
extensions des espaces de Banach qui n’est pas suffisamment élaborée même 
aujourd'hui. 


8.2. Représentations irréductibles. La propriété suivante très 
simple mais fort importante joue un grand rôle dans la théorie des 
représentations. 

Théorème 1(1lemme de Shur). Si les représentations 
T;, T, sont algébriquement irréductibles, chaque opérateur d’entrela- 
cement À E G(T,;, T,) est soit nul, soit inversible. 

La démonstration découle directement du fait que 
ker À & V, et im À € V, sont des sous-espaces invariants et, par 
conséquent, sont nuls ou coïncident avec l’espace tout entier. 

Corollaire 1. Deux représentations algébriquement irré- 
ductibles sont soit équivalentes, soit disjointes. 

Corollaire 2. Si T est une représentation algébriquement 
irréductible dans un espace linéaire sur un corps K, alors la famille 
@ (T°) de tous les opérateurs d’entrelacement est un corps non nécessaire- 
ment commutatif sur le corps X. 

Dans les cas suivants, importants pour les applications, cet 
énoncé peut être précisé. 

Théorème 2. Supposons que la dimension de la représentation 
irréductible T dans un espace sur le corps K soit au plus dénom- 
brable. Alors, si K = C, nous avons G (T) = C; si K —R, alors 
€ (T) est isomorphe soit à KR, soit à C, soit à H. 

Démonstration. Supposons À € @ (T). Considérons l’ex- 
pression p (À), où p est un polynôme à coefficients dans Æ. Si tous 
les opérateurs p (À) ne sont pas nuls pour p = 0, alors le corps @ (T) 
contient le sous-anneau X [A] isomorphe à l'anneau des polynômes, 
et, par conséquent, le corps À (A) isomorphe à celui des fonctions 
rationnelles, 


Problème 1. Démontrer que le corps X (A) est de dimension conti- 
nuale sur X. 

Indication. Tous les éléments de la forme (4 — À)-t, À € X sont 
linéairement indépendants sur X. 


Problème 2. Sizxest un vecteur non nul de V, l'application Ar 4x 
est alors une injection de & (T) dans V. 

Les résultats des problèmes 1 et 2 montrent que l'hypothèse 
p (4) # 0 faite pour p = 0 contredit la dénombrabilité de la dimen- 
sion de V 
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Par conséquent, chaque élément À € @ (T) satisfait à une cer- 
taine équation algébrique p (A) = 0. Rappelons maintenant que 
chaque polynôme sur le corps C se développe en facteurs linéaires, 
et sur le champ R en facteurs du premier et du second degré. 

Dans le cas À — C on en déduit immédiatement que @ (T) — 
— C.1; dans le cas À — KR on peut seulement dire que chaque élé- 
ment À € G(T) engendre dans @ (T) un sous-corps, isomorphe 
à R ou à C. 


Problème 3. Démontrer que k éléments quelconques 4;,, ..., A 
du corps & (T) engendrent un sous-corps D de dimension <2À. 
Indication. L'espace engendré par tous les monômes de la forme 


À; Ai, a. Ai di Lio Le. << iy, est invariant par rapport à la multiplica- 


tion par les générateurs, car A? = a;A; + b;i et A;A;+4;4; = (4; + 4; — 
— Ai — Aÿ= ajA; + BjA ; + Vis. 
Problème 4. Démontrer que deux éléments quelconques 4, B € @ (T) 
engendrent un sous-corps D & G (T) isomorphe soit à C, soit à R, soit à H. 
Indication. Il suffit de considérer le cas où D contient C comme 
sous-corps et ne coïncide pas avec C. D’après le résultat du problème précédent, 
on a dim,D — 2. Considérer la transformation 7: D + D: rtixi-tl, où à cest 
l'unité imaginaire dans C. En diagonalisant 7, on obtient D = C + jC, où j 
est un élément qui possède les propriétés j? — —1, ji — —ij. 
Problème 5. Démontrer que trois éléments quelconques 4, B,CE€ 
€ G (T) engendrent un sous-corps D isomorphe soit à R, soit à C, soit à H. 
Indication. Il suffit de démontrer que le cas où D est un espace 
à gauche de dimension deux sur H, avec base 1, {, où l? = —1, est impossible. 
Problème 6. Chaque corps de dimension finie sur R est isomorphe 


à R, C ou H. 
Indication. Faire appel au résultat du problème 5 et à une récurrence 


sur la dimension. 


Il est évident que le théorème 2 se déduit des problèmes 3 et 6. 

Corollaire. Pour une représentation irréductible T, le 
nombre d’entrelacement c (T) est égal à 1, si X = C, et prend les 
valeurs 1, 2et 4, si K — RK. 

Une représentation réelle T s’appelle représentation de type réel, 
complexe ou quaternionique, selon la forme du corps &@ (T). 

Il est clair que la représentation de type complexe (respectivement 
quaternionique) s'obtient d'une représentation complexe (respecti- 
vement quaternionique) par restriction du corps des scalaires. Plus 
loin nous donnerons pour les groupes compacts le critère d’apparte- 
nance d’une représentation donnée à l’un des trois types. 

Il se trouve que le type d’une représentation est bien caractérisé 
par l'élargissement du corps des scalaires de R à C. 

Théorème 3. Soit Tc la complexification de la représentation 
réelle T. Si T est une représentation irréductible de type réel, complexe 
ou quaternionique, T& est irréductible ou représente la somme de deux 
représentations irréductibles non équivalentes, ou la somme de deux 
représentations irréductibles équivalentes respectivement. 


$ 8. DÉCOMPOSITION DES REPRÉSENTATIONS 437 


Corollaire. Si T est une représentation réelle irréductible 
de type réel, complexe ou quaternionique, l'algèbre € (Tc) est iso- 
morphe à C, C ® C ou à Mat, (C) respectivement. 

Ce corollaire se déduit également du fait plus général suivant. 


Problème 7. Démontrer que @(T.) = & (T) @ C. 


Indication. L'espace V, de la représentation 7, peut être réalisé 


sous forme de somme directe V @ V, où V est l’espace de la représentation T. 
Alors l'algèbre @ (7) sera réalisée comme sous-algèbre de Mat, (& (T)) formée 


x 5) qui définit dans V, la 


des éléments permutables à l'opérateur 7 — ( 1 0 


multiplication par i. 


La démonstration du théorème 3 s'obtient en considérant les 
sous-espaces réels invariants de Ve V @ Y. 

D'après le lemme de Shur, chaque espace W est envoyé dans 0 
ou bien par projection sur chaque terme dans l’espace tout entier. 
Par conséquent, W peut prendre l’une des formes suivantes: 

1) W = {0} @ {0}, 

2) W = {0} ® V, 

3) W= V ® {0}, 

#4 W=VE y, 

0) W — {(x, Ax), x € V}, où À est un élément non nul de @ (T). 
Il est naturel d'appeler graphique de l’opérateur À ce dernier espace. 


Problème 8. Les sous-espaces complexes invariants non triviaux W 
de V, sont les graphiques des opérateurs À € & (T7) tels que 4? = —1. 
Indication. L'espace W sera un sous-espace complexe de V, si et 


; . qui définit dans V, la multiplication 


seulement si l’opérateur 7 = (_ 1 0 


par à, l’envoic dans soi-même. 


Si G(T) —=R, de tels opérateurs n'existent pas, et l’espace 
Ve est irréductible. 

Si @ (T7) = C, il existe précisément deux opérateurs À de ce 
type (correspondant aux éléments Hi € C). Par conséquent, il 
existe précisément deux sous-espaces invariants non triviaux admet- 
tant donc la réalisation des représentations irréductibles non équiva- 
lentes (cf. 8.3). 

Si enfin 6 (7) = H, il existe un nombre infini d'opérateurs À 
possédant la propriété nécessaire. Ils sont tous envoyés l’un dans 
l’autre par les automorphismes internes de H. Ainsi, dans ce cas 
Ve est la somme de deux sous-espaces, admettant la réalisation des 
représentations équivalentes. 


8.3. Représentations complètement  réductibles. Supposons 
donnée une décomposition de l’espace V où agit la représentation T 
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en somme directe de sous-espaces invariants V;,: V — D V;. Dési- 
1= 1 
gnons par P; le projecteur sur V; parallèle aux autres V; 


Problème 1. Les opérateurs P; possèdent les propriétés: 


a) P5=P;, | 

b) P;P;=P;P;=0 pour ij, | 
S ns ; (1) 
; ZT __  “? | 
41 

d) PE € (T). | 


La réciproque est également vraie (voir problème 2). 


Problème 2. Chaque collection d'opérateurs aux propriétés (1) dans 
l’espace V engendre une décomposition de V en somme directe de sous-espaces 
invariants V; = P;V. 

Indication. La propriété a) signifie que P; est un opérateur de pro- 
jection sur le sous-espace V; = P;V parallèlement au sous-espace W; — (1 
— P;) V. La propriété b) signifie que les espaces V; sont linéairement indépen- 
dants. La propriété c) signifie que la somme de tous les V; coïncide avec V. La 
propriété d) enfin équivaut à l’invariance de V;. 


Les éléments d’un anneau qui possèdent la propriété x? = x 
s'appellent idempotents. Deux idempotents x et y s'appellent ortho- 
gonaux, si xy — yx — 0. Les résultats des problèmes 1 et 2 mon- 
trent que l’espace V se décompose en somme de sous-espaces 
invariants si et seulement si l’unité dans l’anneau @ (T) se décom- 
pose en somme d'idempotents orthogonaux. 

L'ensemble des idempotents admet la relation d'ordre suivante 
ZX LL Y, Si LY = YX = X 


Problème 3. Soient P et Q@ deux idempotents dans l’anneau des 
opérateurs linéaires dans l’espace V. Démontrer que la relation P << Q équivaut 
à l'inclusion PV cQV. 


Corollaire. Aux décompositions de l'espace V d'une repré- 
sentation T en somme de sous-espaces irréductibles correspondent . les 
décompositions de l'unité dans @ (T) en somme d'idempotents mini- 
maux. 

Supposons la représentation 7 complètement réductible et finie. 
Alors, elle est la Fous d’un nombre fini de représentations irré- 


ductibles: T — p T;. D'après le théorème de Jordan-Gülder 


= 1 
(voir 8.1), les classes des représentations 7; sont définies d’une façon 
unique. 

Cependant, les sous-espaces V;, dans lesquels agissent ces repré- 
sentations, peuvent en général être choisis de différentes façons. 
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Pour décrire le problème ainsi posé il est utile d'introduire la 
définition suivante. 

La représentation T s'appelle primaire, si elle ne peut pas être 
mise sous forme de somme de deux représentations disjointes. 


Problème 4. Montrer qu'une représentation finie complètement 
réductible T est primaire si et seulement si toutes ses composantes irréductibles 
sont équivalentes. 

Indication. Recourir au théorème de Jordan-Gôülder, au lemme de 
Shur et à l’additivité des nombres d’entrelacement. 

Problème 5. Démontrer qu’une représentation finie complètement 
réductible est primaire si et seulement si elle est de la forme T = U @ S, où U 
et S sont des représentations irréductible et triviale (c'est-à-dire telle que S (g)= 
= {) respectivement. 

Indication. Faire appel à l’isomorphisme V 2 Kn= VO... 


... @ V (n termes) et au résultat du problème 1. 


Théorème 1. Soit T une représentation finie complètement 
réductible dans l'espace V. Alors, il existe une décomposition unique de 
V en somme de sous-espaces invariants V; telle que les représentations 
Ti = T |v, sont primaires ei disjointes deux à deux. Chaque sous- 


espace invariant WC V possède la propriété W—@OWwWnN Vi. 


? 

La démonstration de l'existence est fort simple. Si T 
n’est pas primaire, elle est la somme de deux termes disjoints 7, 
et T,. La même alternative s'applique alors à T, et T,. En conti- 
nuant ce procédé, nous en arrivons à la décomposition de 7 en 


n 
somme de représentations primaires disjointes deux à deux T = ÿ T;. 
i=1 
Soient V; les sous-espaces dans lesquels agissent les T;, et P; 
les opérateurs de projectionisur V; parallèlement à la somme des 
autres V;. 
Problème 6. Les opérateurs P; appartiennent au centre de l'algèbre 


& (T). 
Indication. SiA€@(T), alors P;4AP; E@(T;, T;). Vuquele T; 
sont disjoints deux à deux, on a P;AP; — 0 pour i  j. Par conséquent, 


A=(3 P;)-A-(5,P;)= S P;AP;= ÿ) P;APi. 
J î 1: î 
Donc, AP; — P;AP; et P;A —= P;AP;. 
Re 


Le résultat du problèm2 6 adm?t une réciproque dans le sens 
suivant. Soit C (@ (T)) le centre de l'algèbre & (T). 


Problème 7. Si le projecteur P appartient à C (@ (T)), alors les 
espaces W, = PV et W, = (1 — P) V sont invariants et les représentations 
S1 = T'ly,et S2 = T ly, qui se définissent sur ces espaces sont disjointes. 

lndication. L'invariance de W, et de W, équivaut à la condition 
P E G(T). Le fait que S, et S, sont disjointes découle des relations & (S,, S,) — 
= (1 — P) G(T) P, G(S2 S1) = P G(T) (1 — P). 
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Des résultats des problèmes 6 et 7 il s'ensuit que les décomposi- 
tions de la représentation T en somme de sous-représentations dis- 
jointes et celles de l’unité de C (@ (T)) en somme d'’idempotents 
orthogonaux correspondent bijectivement. 

La décomposition de T en représentations disjointes primaires 
correspond évidemment à celle de l’unité de C (@ (T)) en somme 
d’idempotents minimaux. 


Problème 8 Démontrer que dans un anneau commutatif la décom- 
position de l’unité en une somme d’idempotents minimaux est unique (si toute- 


fois elle existe). 
Indication. Sizxet y sont deux idempotents permutables, alors «y 


est également idempotent et l’on a xy << x, xy < y. 


Démontrons la dernière affirmation du théorème 1. Soit W un 
sous-espace invariant de V. Désignons par P le projecteur sur W 
parallèlement à l’espace supplémentaire invariant (ce dernier existe 
évidemment car 7 est complètement réductible). Alors P € € (T). 


n n 
D'autre part, P = P D P, = > PP, 
i=1 i=1 
Vu que P; EC (G(T)), les opérateurs P et P; sont permutables. 
Les opérateurs PP; sont donc des projecteurs sur les sous-espaces 


PP;,V—=W N V;. Par conséquent 
W=Pv= (> PP:)V= © (WAV) 
i=1 + 


et le théorème est démontré. 

La décomposition d’une représentation primaire réductible en 
composantes irréductibles n’est jamais unique. En eïfet, supposons 
que la représentation primaire 7' soit de la forme U @ S, où U est 
une représentation irréductible dans l’espace W” et S une représen- 
tation triviale dans l’espace W" (voir problème 5). 

Chaque décomposition de W” en somme de sous-espaces de 
dimension un Wi, i — 1, 2, ..., dim W” engendre une décomposi- 
tion de l’espace V — W' @ W" en somme de sous-espaces irréduc- 
tibles V;, — W" @ Wi. Si T est réductible, alors dim W” > 1 et 
une telle décomposition n’est pas unique. 


Problème 9. Si@(U) = K, alors chaque sous-espace invariant de V 
est de la forme W' @ W4, où WS est un certain sous-espace de W”. 

Indication. Faire appel à l’isomorphisme @ (T) = Mat, (& (U)), 
où n—dim W”. 


Citons une condition suffisante pour rendre une représentation 
complètement réductible que nous utiliserons largement par la suite. 
Théorème 2. Si l’espace V d'une représentation T est en- 
gendré par ses sous-espaces irréductibles, T est complètement réductible. 
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Démonstration. Soit W un sous-espace invariant de Y. 
Appelons admissible toute famille {V,},aœ € À de sous-espaces 
invariants irréductibles possédant la propriété suivante: si x, € V,, 


yEW et y = Dre, alors tous les x, sont nuls. D’après le lemme 
(#2 


de Zorn, il existe une famille admissible maximale {V,}. Alors 

W'=Y V, est un supplémentaire invariant de W. En effet, chaque 
& € À 

sous-espace irréductible V, est entièrement inclus dans la somme 

W + W', ou bien n’a pas d'éléments communs avec elle. La deu- 

xième alternative contredit la maximalité de la famille {V,}. 

Montrons pour conclure comment on peut déduire le théorème 
classique suivant des résultats ci-dessus. 

Théorème 3 (Burnside). Si T est une représentation 
irréductible du groupe G dans un espace vectoriel V de dimension finie 
sur un corps algébriquement fermé K, l'enveloppe linéaire des opéra- 
teurs T (g), g € G coïncide avec l’espace End V de tous les opérateurs 
linéaires de V. : 

Démonstration. Considérons la représentation 7 du 
groupe G dans l’espace End V 


T(g: Am T(g À. 


En identifiant End V à V @ V* (cf. 3.3), nous remarquons que 


la représentation Ÿ (£) est le produit tensoriel de la représentation T 
dans Ÿ par une représentation triviale de dimension nr dans V*, 


n — dim V. D’après le théorème 2, T est complètement réductible. 
Vu que le corps K est algébriquement fermé, le corps @ (T) coïncide 
avec À. D’après le résultat du problème 9, chaque sous-espace inva- 
riant de End V est de la forme W = V @ V, où V, est un certain 
sous-espace de V*. Choisissons une base de V de sorte que V, soit 
engendré par les À premières coordonnées. Alors W se réalise sous 
forme du sous-espace de Mat, (X) = End V, composé de toutes les 
matrices dont seules les À premières colonnes sont non nulles. 

Pour démontrer le théorème, il suffit de remarquer que l’enve- 
loppe linéaire des opérateurs T (g), g € G est un sous-espace inva- 
riant de End V et n’est pas inclus en aucun des sous-espaces de W 
du type décrit pour k € n. 

Corollaire. Un groupe fini d'ordre N ne possède pas, sur 
un corps algébriquement fermé, de représentations irréductibles de 
dimension > V N. 

Nous verrons plus loin que ce résultat peut être précisé d’une 
façon essentielle (voir $ 10). 


8.4. Décomposition des représentations unitaires. Chaque 
représentation unitaire est complètement réductible. Par consé- 
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quent, les résultats obtenus dans le paragraphe précédent restent 
valables pour les représentations unitaires finies. 

Or dans le cas unitaire on peut également construire une théorie 
de la décomposition pour les représentations infinies. La décomposi- 
tion en somme directe y est souvent remplacée par celle en somme 
continue (intégrale) d’espaces hilbertiens. La nécessité d’une telle 
décomposition apparaît déjà dans les cas les plus simples. 

Considérons, par exemple, la représentation 7' du groupe KR dans 
l'espace H = L?(R), donnée par la formule 


ET (E) F1 (x) = eff (a). 


Soit Æ un sous-ensemble mesurable quelconque de KR. Il est 
évident que le sous-espace À (EE) H, composé des fonctions nulles 
en dehors de E, est invariant par rapport aux opérateurs de repré- 
sentation. 


Problème 1. Chaque sous-espace fermé invariant de Æ est de la for- 
me H(E). 

Indication. Chaque opérateur de & (T) est un opérateur de multipli- 
cation par une certaine fonction de x (cf. problème 10 de 4.4) 

Corollaire. La représentation T n'a aucune sous-représentation irré- 
ductible. 


En effet, chaque sous-espace À (E) se réduit à zéro (si E possède 
une mesure nulle), ou bien possède des sous-espaces non triviaux 
invariants (si la mesure de Æ est positive). 

Soit X un espace à mesure u; supposons qu'à chaque point 
x € X correspondent un espace hilbertien A, et une représentation 
unitaire 7, du groupe G dans Æ,. On dit que la représentation 
unitaire 7 du groupe G est une somme continue (ou une intégrale) 


des représentations 7’, pour la mesure u et on la note 7 = | T,du (x), 
x 
Si : | 
1) l’espace A de la représentation T est la somme continue des 
espaces À, pour la mesure u (voir 4.5); 
2) tous les opérateurs T (g) sont décomposables et sont de la 


forme 
[T (g) fl (x) = T (8) f (x). 


Il est évident que la représentation 7° ci-dessus du groupe R 
dans L? (R) est une somme continue de représentations de dimen- 
sion 1 


T.(t=eitx, 
La’ question sef pose naturellement, à savoir: existe-t-il une dé- 


composition d’une représentation quelconque T en somme continue 
de représentations plus simples (par exemple, irréductibles ou pri- 
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maires). D'après le théorème 1 de 4.5, la décomposition de l’espace 
H de la représentation T en somme continwe | Æ,dn (x) se définit 


x 
par une C*-sous-algèbre commutative Z, d'opérateurs diagonaux 
continus. L'espace X coïncide avec M(Z,) et la mesure u avec celle 
de base de la représentation identique de Z, dans H. Il est clair 
que les opérateurs de la représentation T admettent une décomposi- 
tion si et seulement si l'algèbre Z, est incluse dans @ (7). 
Cependant, cette condition n’est pas en général suffisante, car 


les relations 
Tr (81e) = T'x (81) T'x (ge) 


pour g, et g, fixes peuvent ne plus avoir lieu sur un ensemble dé- 
pendant de g, et g,, de mesure nulle. 

En outre, l'application gr T,(g) n’est pas, en général, con- 
tinue. On peut surmonter ces difficultés en imposant certaines 
conditions supplémentaires sur le groupe G et l’espace JA. 

Théorème 1. Soient un groupe G localement compact 
à base dénombrable et un espace H séparable. Alors chaque C*-sous- 
algèbre commutative T, de G(T) définit la décomposition de la repré- 
sentation T en une somme continue 


T= | T,du (x, 


X 


où X = M(D,), et u est la mesure de base de la représentation identi- 
que de D. 

Nous nous bornons ici à démontrer ce théorème dans le cas d'un 
groupe discret dénombrable. Le cas général sera examiné plus loin 
(voir $ 10) après l’introduction de la notion d’anneau de groupe. 

Vu que tous les opérateurs T (g), g € G sont décomposables, il 
existe pour chaque g € G une famille mesurable d'opérateurs T'. (g) 


telle que 
[T (g) F1 (x) = Tr (g) f (x). (1) 


Pour g, g,, g, fixes, les relations suivantes sont vérifiées pour 
presque tous les x 


Th (eg) = Tr (g 1), To (gige) =T, (81) Tx (ge). (2) 


Le groupe G étant dénombrable, on peut, en modifiant les opéra- 
teurs T,(g) sur un ensemble de mesure nulle, rendre valables les 
égalités (2) pour tous les x € X, sans contredire aux égalités (1). 
G étant discret, l’application g+-- T. (g) est continue et, d’après 
(2), définit une représentation unitaire de G dans l’espace H.. 
Théorème 2. Supposons que la représentation unitaire T 
d'un groupe séparable G dans un espace hilbertien séparable H soit 
la somme continue des représentations T,, x € X, pour la mesure pu. 
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Pour que presque toutes les représentations T, soient irréductibles, il 
faut et il suffit que l’algèbre D des opérateurs diagonaux soit une sous- 
algèbre commutative maximale de G(T). 

Démonstration. Supposons que l’algèbre Z ne soit pas 
maximale et que l’opérateur À appartienne à %!f\ @ (T). Vu que 
%' = À se compose d'opérateurs décomposables, l'opérateur À est 
de la forme 


[AÿT (x) = Axf (x). 


SUpposons QUE Ly, + « ., En» - - - torment un sous-ensemble dé- 
nombrable dense dans G. Alors, presque partout sur X, on a les 
égalités T,(g;) Ax — A,Tx(g;). Par conséquent, 4, € @ (T,) pour 
presque tous les x. 

Vu que À € Ÿ, l'opérateur À, n’est pas scalaire sur un certain 
ensemble Æ de mesure positive. Les représentations T, sont donc 
réductibles pour x € E. 

Inversement, supposons les représentations T, réductibles sur 
un ensemble Æ de mesure positive. Alors, @ (T,) — C1 pour x € Æ. 
Supposons que l’on ait pu choisir, pour chaque x € Æ, un opérateur 
A; EG(T;)  C-1, tel que la famille {4,} soit mesurable. Alors, 
l'opérateur À, défini par cette famille, appartiendrait à Z' {] @ (T) 
mais non pas à Z, ce qui démontrait que Ÿ n'est pas maximal. 

La possibilité d’un choix de À, mesurable découle du théorème 
suivant de Lousine-Jankov. Si X et Ÿ sont des espaces métriques 
complets séparables, Ÿ un compact et Z un sous-espace borélien 
dans X X Y dont la projection sur X coïncide avec X, il existe une 
application f: À — Ÿ mesurable par rapport à toute mesure complète 
régulière sur X, telle que le graphique de f soit contenu dans Z. 

Nous ne démontrons pas ici ce fait (pour cette démonstration 
voir l’appendice IIT du livre de M. Naimark [44]. 

Corollaire. Chaque représentation unitaire T d'un groupe 
localement compact G à base dénombrable dans un espace séparable H 
peut être décomposée en somme continue de représentations irréductibles : 


T — | T du (x). 
F< 

Il existe une certaine classe de représentations qui conservent, 
pour la décomposition, les traits principaux du cas fini (cf. 8.3). 
Nous dirons que la représentation T 

1) possède un spectre simple, si l'algèbre @ (T) est commutative, 

2) possède un spectre homogène de multiplicité n (ou homogène 
de degré n), si elle est équivalente au produit tensoriel d’une repré- 
sentation à spectre simple par une représentation triviale de dimen- 
sion A, 

3) appartient au éype I, si elle est la somme de représentations 
homogènes. 
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Problème 2. Pour que la représentation 7 appartienne au type I 
(respectivement soit homogène de degré n), il faut et il suffit que l’algèbre € (T) 
le soit aussi (respectivement soit homogène de degré n). 

Indication. Faire appel au théorème 1 et aux résultats de 4.5. 


Ainsi chaque représentation de type Î se met sous la forme 
R—00 
1 > Ur © Sp, où U, est une représentation à spectre simple 
R—1 
et S,, une représentation triviale de dimension #. On appelle appri- 
voisé le groupe G si toutes ses représentations unitaires appartiennent 
au type Ï, et sauvage dans le cas contraire. 


Cette terminologie, empruntée à la topologie géométrique (en anglais: 
« wild and tame knots ») reflète bien selon l’opinion personnelle de l’auteur la 
nature de ces groupes et de leurs représentations. Nous verrons plus loin que les 
groupes apprivoisés possèdent de nombreuses propriétés avantageuses, que les 
groupes sauvages ne possèdent pas, à savoir : l’unicité de la décomposition des 
représentations, l’existence des caractères, la semi-séparabilité de l’espace dual. 

Problème 3. Démontrer que pour chaque groupe apprivoisé G toute 
représentation primaire est multiple d’une représentation irréductible. 

Indication. Pour une représentation primaire, le centre de l’algèbre 
& (T) se compose d'opérateurs scalaires. Par conséquent, & (T) cest un facteur 
de type I. 


On peut montrer que cette propriété est caractéristique des 
groupes apprivoisés. Chaque groupe sauvage possède des représen- 
tations primaires, qui ne sont pas multiples de représentations 
irréductibles. 

Pour les groupes apprivoisés, la théorie de la décomposition peut 
être définitivement résumée de la manière suivante. 

Théorème 3. Soient G un groupe localement compact ap- 
privoisé à base dénombrable et T sa représentation unitaire dans un 
espace hilbertien séparable. Alors 

4) il existe sur l'espace G dual à G une famille LA, de mesures boré- 
liennes, disjointes deux à deux telle que la représentation T S'écrit sous 
la forme 


kR=00 


T = pa Ur © SR 
k—1 


où S, est une représentation triviale de dimension k et U, une repré- 
sentation à spectre simple, qui peut s'écrire sous forme de somme con- 
linue 


VE | Ta dux (À). 


G 


(La représentation Ta appartenant à la classe À € G). 

2) Les mesures u, sont définies par la représentation T à équivalence 
près. 
10—0361 
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3) Chaque famille {u,} de mesures boréliennes disjointes deux 
à deux est engendrée par une certaine représentation T de la manière 
décrite ci-dessus. 

Ce même résultat peut être énoncé en termes de décomposition 
en représentations primaires. 

Chaque représentation T peut s'écrire sous la forme 


T= | W,du (à), 


A 


ê 
où WA est une représentation primaire de la forme T; @ S;, Ta ap- 
partient à la classe À € G, Sy est une représentation triviale de dimen- 
sion n (À). La mesure u est définie par la représentation T à une équi- 
valence près, et la fonction mesurable n (À) presque partout pour la 
mesure lu. 

Le passage d’un énoncé à l’autre est absolument identique à 
celui de 4.4. 

La décomposition d’une représentation unitaire T en représen- 
tations primaires peut être construitè pour tout groupe localement 
compact à base dénombrable. Pour cela, il suffit de prendre pour 
l'algèbre Z des opérateurs diagonaux le centre de l’algèbre &@ (T). 
Cependant, les décompositions ultérieures ne seront plus déterminées 
d’une façon unique non seulement du point de vue du choix des 
sous-espaces de décomposition (ou, ce qui revient au même, de 
l'algèbre des opérateurs diagonaux), mais aussi du point de vue des 
composantes irréductibles elles-mêmes. Voir à ce sujet le $ 19 de 
la troisième partie du livre. 

La classe des groupes apprivoisés est suffisamment large. 


Problème 4 Démontrer que chaque groupe commutatif est apprivoisé. 
Indication. Si 7 est la représentation d'un groupe commutatif, 


alors l'algèbre @ (T)' est commuiative. Par conséquent € (T) appartient au 
type I 


Nous verrons plus loin que tous les groupes compacts, les groupes 
semi-simples connexes, les groupes de Lie exponentiaux (en parti- 
culier, les groupes nilpotents) sont apprivoisés. On sait également 
(voir l’article [71]), que chaque groupe algébrique linéaire (c'est-à- 
dire chaque sous-groupe de GL (n, R) défini par des équations algé- 
briques) est apprivoisé. 

Par contre, les groupes discrets sont en général sauvages. A savoir, 
un groupe discret dénombrable est apprivoisé si et seulement si il 
contient un sous-groupe commutatif d’indexe fini (voir l’article 
[135]). 

Parmi les groupes de Lie résolubles certains sont apprivoisés, 
d’autres sauvages. Un critère qui permet de distinguer les deux cas 
sera donné au $ 15. 
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9.1. Mesures invariantes et moyens. Une des méthodes les plus 
puissantes pour l'étude des groupes topologiques et de leurs repré- 
sentations est l’opération de moyen invariant. Soit L un espace 
vectoriel topologique, composé de fonctions sur un G-espace X, 
invariant par rapport aux translations. On appelle moyen invariant 
une forme linéaire positive !) sur ZL, invariante par rapport au 
groupe G. Le cas le plus important est celui où X est un groupe 
topologique et G le groupe des translations à gauche, à droite et des 
deux côtés sur X. Les moyens respectifs s'appellent respectivement 
moyens à gauche, à droite et bilatères. 

Le groupe G s'appelle amenable, s’il existe un moyen invariant 
à gauche sur l’espace B (G) de toutes les fonctions continues bornées 
sur G avec la norme || f || — Sup | f (x) |. Dans ce cas, le sous-espace 


B (G) formé de toutes les fonctions uniformément continues à droite 
possède un moyen bilatère. 

Critère de Neumann. Le groupe G n'est pas amenable 
si et seulement s'il existe des fonctions f,, . . ., fn € B (G) et des 
éléments g,, ..., gn € G tels que 

N 


à [fi (g)— fi (gig)1>1, quel que soit g€G. 

On sait que tous les groupes résolubles sont amenables. Comme 
exemple de groupe non amenable on peut citer le groupe libre à 
deux générateurs ou un groupe de Lie non compact semi-simple 
quelconque. 


Ces dernières années la théorie des groupes amenables a beaucoup progressé. 
[1 s’est avéré que l’amenabilité des groupes localement compacts est équivalente 
à de nombreuses autres propriétés importantes : l’existence d’un point immobile 
pour chaque action affine d’un groupe sur un compact convexe, l’existence d’un 
moyen bilatère sur B (G) et ce que l’on appelle « R-propriété » : la représentation 
triviale est faiblement contenue dans une représentation régulière, etc. 


L'étude du moyen invariant sur C, (G) nous amène à la notiom 
fondamentale de la mesure de Haar. 

Dans le cas où G est compact, l’espace C, (G) coïncide avec C (G} 
et le moyen invariant prend alors la forme 


1 (P= | f(x) du (»), (1) 
G 
où u est une certaine mesure borélienne régulière (voir 4.1). 


1) C'est-à-dire une forme prenant des valeurs non négatives sur les 
fonctions non négatives. 


10* 
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Lorsque G est localement compact et possède une base dénom- 
brable, l’espace C, (G) est la réunion d’une famille dénombrable 
d'espaces de la forme C (K), où Æ est un compact dans G. Dans 
ce cas, le moyen invariant (s’il existe) peut également être mis 
sous la forme (1), où u est une certaine mesure o-finie. 

Théorème 1 (Haar). Sur chaque groupe localement com- 
pact à base dénombrable il existe une mesure régulière borélienne non 
nulle invariante à gauche et o-finie. Elle est définie d'une façon unique 
à un facteur numérique près. 

Cette mesure s'appelle mesure de Haar à gauche. On définit 
d’une manière analogue la mesure de Haar à droite. 

Nous désignerons par d,g la mesure de Haar à gauche et par d,g 
à droite, en omettant les indices Z et r dans les cas où il existe une 
mesure invariante. bilatère. 

On peut généraliser la notion de mesure (en éliminant la condi- 
tion que cette mesure soit o-finie) de sorte à avoir 

Théorème 2 (A Wevyl). Pour qu'il existe sur un groupe 
topologique complet G une mesure régulière borélienne non nulle et 
invariante à gauche il faut et il suffit que le groupe G soit localement 
compact. Si cetie condition est satisfaite, la mesure invariante à gauche 
est définie d'une façon unique à un facteur numérique près. 

Pour des grouves concrets, il n’est généralement pas difficile 
de trouver explicitement une mesure invariante à gauche (cf. 6.4). 
Par conséquent, c’est surtout l’unicité qui est d’un intérêt parti- 
culier. Citons ici quelques formules utiles qui découlent de cette 
unicité, 

Problèm ce 1. Soit G un groupe localement compact. Il existe un homo- 


morphisme continu A4; du groupe G dans le groupe des nombres réels positifs 
(pour la multiplication) tel que les égalités suivantes sont satisfaites : 


dr (2y) = AG (&) dry, di (xy)= Ac (y) 1 dir. (2) 
dx = const.AG (x) dix, di(x) = const. AG (x)"1 d,x, (3) 
d, (2-1) = AG (x) ldrx= const-dyx, dy (x-1) = Ag (x) dur. (4) 


Indication. Le membre gauche de la première des égalités (2) est 
invariant à droite. Il existe donc un nombre A, (x) tel que cette égalité est véri- 


liée. Il est évident que xt A, (x) est un homomorphisme. Sa continuité découle 


de la formule A4 (x) — f (x-ly) d,y, où f est une fonction finie continue sur G 


G 


satisfaisant à la condition [ f (y) dy = 1. Les autres relations se déduisent 


LS 


G 
d’une manière analogue. 


Corollaire. La classe d'équivalence de la mesure de Haar 
à gauche est invariante des deux côtés. 
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On appelle parfois la fonction A4; module du groupe G. Si AG = 1, 
on dit que le groupe G est unimodulaire. Dans ce cas, il existe une 
mesure invariante bilatère. 


Problème 2. Démontrer que si le groupe G est compact, la mesure 
de Haar est finie et invariante des deux côtés. 

Indication. Le groupe des nombres positifs pour la multiplication 
ne contient pas de sous-groupes compacts différents de {1}. 


Dans de nombreuses questions de la théorie des représentations, 
il est plus commode de considérer seuls les groupes unimodulaires. 

Définissons pour chaque groupe G localement compact les grou- 
pes Go et G, de la manière suivante: 

Go est le noyau de l’homomorphisme A, ; 

G, est le produit semi-direct de G et R, associé à l'application 
AVE G => Aut KR. 


Problème 3. Démontrer que les groupes G et G, sont unimodulaires. 


Citons quelques renseignements sur les mesures dans les G-espa- 
ces. 

Théorème de Glimm'!). Pour les G-espaces métriques 
complets séparables X les conditions suivantes sont équivalentes : 

1. Chaque G-orbite de X est localement fermée (c’est-à-dire qu’elle 
est l'intersection d’un ouvert et d’un fermé). 

2. L'espace quotient X/G est semi-séparé (c'est-à-dire qu’il satis- 
fait à l’axiome 7,). 

©. Îl existe une famille dénombrable d'ensembles G-invariants 
boréliens dans X séparant tout couple de G-orbites. 

4. Chaque mesure borélienne G-ergodique sur X se localise sur une 
des orbites. (Rappelons qu’une mesure s'appelle G-ergodique, si la 
mesure de chaque ensemble mesurable G-invariant, ou bien de son 
supplémentaire, est nulle.) 

Si X est un G-espace homogène et G un groupe localement com- 
pact, alors il existe sur X une mesure (unique à équivalence près) 
quasi-invariante (c’est-à-dire une mesure qui se transforme en mesure 
équivalente par toutes les translations). Dans le cas où X possède 
une base dénombrable, une telle mesure u est équivalente à une 
mesure finie et peut être définie par l'égalité 


L Ft) du (æ)= À F(p (8) dv (e), 
G 


4 


où p est la projection naturelle de G sur X, et v une mesure finie 
sur G, équivalente à la mesure de Haar. 


1) Voir Glimm J., Locally compact transformation groups, Trans. Amecr. 
Math. Soc. 101 (1961). 124-138. 
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Supposons, par exemple, que X — G/H soit un G-espace 
à gauche et s une application borélienne de X dans G telle que 
pos — 1 (pour les groupes de Lie, cette application peut être choisie 
différentiable presque partout). Alors chaque élément de G se met 
d’une façon unique sous la forme 


g —=s(x)h, xzEX, h EH, (9) 


de sorte que G s'identifie à X X 4H. 

Or, la mesure de Haar sur G est, dans ce cas, transformée dans 
une mesure équivalente au produit de la mesure quasi-invariante 
sur X par la mesure de Haar sur Æ. Nous avons donc l'égalité 


d,g = p (x, h) du (x) d,h. 


En soumettant les deux membres de cette égalité aux translations 
à droite par éléments de A, on remarque aussitôt que la densité 
p (x, h) ne dépend pas de h. Remplaçant u par une mesure équivalen- 
te, on peut faire de sorte que pour p on puisse prendre toute fonction 
positive de x. 

Il est naturel de choisir p tel que la mesure correspondante u 
se transforme par les translations du G-espace X de la manière la 
plus simple. Pour cela il faut poser p (x) = Ag (s(x)). Désignons 
par u, la mesure ainsi obtenue (elle dépend du choix de l’applica- 
tion s). 


Problème 4 Démontrer que l’on a les égalités 


de = RE dus (x) di, (6) 


dus (gx) = Ag (h (g, x)) (7) 
dus (x)  Ax(h(g, x))' 


où À (£g, x) est défini par la relation 
gs (x) = s (gx) h (g, x). (8) 
Problème 5. La mesure u, est définie par les relations (7) et (8) à un 
facteur numérique près. 


Problème 6. L'espace X — G/H possède une mesure G-invariante si 
et sculement si l’on a 


ÂG (2) — AH (h) pour tout À € H., (9) 


Problème 7. Si la condition (9) est satisfaite, la mesure u, est G-in- 
variante et ne dépend pas du choix de l’application s. 


Il va sans dire que les résultats ci-dessus s'appliquent au cas 
d'un G-espace à droite Ÿ — H\G. Citons ici les formules correspon- 
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dantes :! 
g =hs{(y), hREH, yEY, (5°) 
dg= = a dvs (y) dih, (6') 
dvs (y) — Ax (h (y, 8)) (7') 


dvs (y)  Ac(h(y, 8))’ 
où h(y, g) est défini par la relation 


s (y) g = h (y, g) s (yg). (8”) 


Parfois, on peut trouver dans le groupe G un sous-groupe K 
complémentaire à A, dans le sens que presque chaque élément de G 
s'écrit d’une façon unique sous la forme 


g —k.h, kEK, h EH, 


Dans ce cas, il est naturel d'identifier X — G/H à K et prendre 
pour l’application s l’inclusion de Æ dans G. Il est alors aisé de 
voir que la mesure u, sera alors une mesure de Haar à gauche sur X 
(vu que hk(k,, k,) — e). La formule (6) se met alors sous la forme 


Ax (à 
de = RE dikdih. (10) 
Si G est unimodulaire, cette égalité devient alors: 
dg = dk -d,h. (11) 


Pour la démonstration du théorème de Weyl et des renseignements ultérieurs 
sur l'intégration sur les groupes, voir les livres [7], [56]. Pour un exposé détaillé 
de la théorie des groupes amenables voir le livre de F. P. Greenleaf, Invariant 
means on topological groups, Van Nonstrand Math. Studies, 16. 


9.2. Applications aux groupes compacts. Soit G un groupe com- 


pact et dg une mesure de Haar sur G, normée par la condition | dg — 
G 
ne 
Considérons la représentation T' du groupe G dans un espace 
topologique complet localement convexe Y. Désignons par V, le 
sous-espace de V composé de tous les vecteurs G-invariants. 
Théorème 1. L'opérateur 


P=ÎT() dg (1) 
6 


permutable aux opérateurs de représentation coïncide avec l'opérateur 
de projection sur V; 

Avant de démontrer ce théorème, il faut expliquer ce que si- 
onitie l'intégrale (1). 
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Soit À un espace avec une mesure, f une fonction sur X à va- 
leurs dans un espace localement convexe Z. Nous appellerons f 
faiblement intégrable, si pour chaque % € L’ la fonction scalaire 
zx ++ (%, f (x)) est intégrable pour la mesure u. On appelle intégrale 
faible de la fonction f pour la mesure u l'élément de l’espace (L')* 
(algébriquement dual à L'}, noté | f (x) du (x) et défini par l'égalité 

x 
€ | f(x) du @)»= | (x, f(x))du (x) pour tout 4€ L’. (2) 
X 


X 


On peut montrer que | f (x) du (x) appartient à l'enveloppe 
X 

convexe fermée de,l’ensemble des valeurs de la fonction f sur X 
(ou sur un sous-espace quelconque de mesure complète dans X). 
Nous considérons ici l’espace L comme étant inclus dans (Z')*: 
chaque élément de ZL peut être considéré comme une forme linéaire 
sur L'. 

En particulier, si À est un compact, et f une fonction continue, 


l'intégrale | f (x) du (x) est un élément de Z. L'expression (1) 
x 

peut être considérée comme intégrale d’une fonction sur G à va- 
leurs dans l'espace End Y. 

Problème 1. Démontrer, pour & € V quelconque, l'égalité 

P(E= | TE de. 
G 
Indication. Démontrer l'égalité (y, PE) = (y, | T (g) ë de) pour 
G 

un % € V’ quelconque, en comparant les deux membres avec l'expression 


| ta, T (@ E)de. 
G 


On obtient donc en particulier P(É)—Éé, quel que soit Ë € V,. 


Problème 2. Si À est un opérateur borné dans V on a 


a 


AP= | AT (g) de, PA= | T (g) À dge 
G G 


Indication. Quels que soient EE Vet xE V',ona 


[Ga APÈ)= € À | T (8) Ë 4) = | (x, AT (g) Ë) de. 
G G 


$ 9. INTÉGRATION INVARIANTE 153 


Le théorème 1 se déduit maintenant des relations suivantes: 


T (#)P= | T (8) T (es) dei = | T (ei) dei = | T (82) dé =P, 
G G G 

PT @= | T (e1) T (@) des — | T (e18) de — | T (82) dee=P. 
G G G 


Ainsi, le calcul du moyen sur un groupe représente une méthode 
universelle pour construire les invariants du groupe: pour chaque 


vecteur & € V, le vecteur PE = \ T (g) 6 dg est un invariant et tous 
G 
les invariants s’obtiennent de cette manière. 

Déduisons de ce résultat quelques corollaires importants, qui 
forment le fondement de la théorie des représentations des groupes 
compacts. 

Montrons tout d’abord que l'étude d’une représentation quel- 
conque se réduit, dans une grande mesure, à l’étude des représenta- 
tions unitaires. Soit T' une représentation dans un espace vectoriel 
topologique V. Si y est une forme linéaire continue sur Ÿ, l’expres- 
sion 


Enx= | @ 7 (98% TE mde @) 
G 


est linéaire par rapport à 6, antilinéaire par rapport à n, continue 
comme fonction de deux variables Ë et n et possède la propriété 
(Ë, £)x > 0. Par conséquent, V s'avère muni d’une structure d’es- 
pace préhilbertien (voir 4.1). Soit A, l’espace hilbertien correspon- 
dant et , l’application naturelle de V dans À,. L'espace A, est 
muni d’une représentation 7, qui s'obtient de la représentation 7' 
par factorisation et prolongement par continuité. De l'égalité 
(T (g) Ë, T (g) n)+x = (6, n)x, il découle que T; est unitaire. 

Ainsi, pour chaque forme y € V”’ on a construit une représenta- 
tion unitaire TZ, et un opérateur d’entrelacement mx € @ (V, H;). 
Si l’espace V est localement convexe, l'intersection des noyaux de 
x pour tous les y € V” ne contient que zéro seul. L'examen des 
représentations unitaires T', permet dans ce cas de décrire entière- 
ment ÿ. 


Problème 3. Supposons T topologiquement irréductible et 7 0. 
Démontrer que p, est une inclusion continue de V dans Æ,, ct que la reyrésen- 
tation T, est également topologiquement irréductible. 

Problème 4. Chaque représentation de dimension finie d’un groupe 
compact est équivalente à une représentation unitaire. : 


Soit maintenant 7 une représentation unitaire d'un groupe com- 
pact G dans un espace hilbertien X. 
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Pour Ë, n € Æ quelconques, nous désignerons par #4, n (g) la 
fonction gr (T (g) 6, n) et l’appellerons élément matriciel de la 
représentation 7. (Si & et n sont les éléments d’une base orthonormée 
dans 1, alors f: , (g) est le coeïfficient correspondant de la matrice 
de l’opérateur T (g).) 

Théorème 2. Chaque représentation T unitaire et topologi- 
quement irréductible du groupe compact G est de dimension finie. 
Ses éléments matriciaux satisfont aux conditions 


À Pas, m (8) 4, ne (0 de = er (Eu 8) (no M). (4) 
G 


Si T;, et T, sont deux représentations irréductibles non équiva- 
lentes, chaque élément matriciel de la représentation T, est orthogonal, 
dans L?(G, dg), à chaque élément matriciel de la représentation T:. 

Démonstration. Le membre gauche de l'égalité (4) 
est linéaire et continu par rapport à E,. Il est, par conséquent, de la 
forme (£,, &), où & est un certain vecteur de Æ qui dépend de &:, 
et n°2. Pour n, et n, fixes, le vecteur & est une fonction linéaire con- 
tinue de £,. Par conséquent, £ — AË,, où À est un certain opérateur 
dans Æ dépendant de n, et de "2. 

L'égalité 

bre) 8 n (81) = Le, n (818) 
montre que l'opérateur À possède la propriété 


(T (8) 1, AT (8) 82) = (és AË2): 


pour tous les g € G. Par conséquent, À € @ (T) et, d’après le théorè- 
me 1 de 7.3, À = À -1. Le nombre À dépend évidemment de n, et n2. 
Raisonnant d’une manière analogue, on remarque que À dépend 
de n, et n, de la façon suivante: À = c-(n:, 12). Ainsi, on a démontré 
l'égalité 


| te, ni (S) fo, no (8) dg = C (Ë1, Ée) (1, M), (5) 
G 


où la constante positive c ne dépend que de la représentation 7. 
Soit maintenant e,, ..., e, une famille de vecteurs orthonormés 
quelconque de Æ. Alors, 


De 


— 


[OT (8) 6, e5) P<IT (8) 8 = ITS I. 


Par conséquent, pour tout g 


n 
D fée, e, (8) PRIE IP. 
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En intégrant cette inégalité sur le groupe G et en utilisant (5), 
nous obtenons l'inégalité cn || & |? SI] É I, c'est-à-dire c < 1/n. 
D'où il s’ensuit immédiatement que T' est de dimension finie. Si 
dim T7 =n et e,, ...,e, est une base de F, l'inégalité ci-dessus 
devient une égalité et on obtient c — {/n — 1/dim 7. La démons- 
tration de la dernière affirmation du théorème est tout à fait analogue 
à celle de l’égalité (5). La seule différence est qu’au lieu de l'égalité 
6 (T) = C1 il faut recourir à l’égalité & (T,, T,) —0. Le théorème 
est démontré. 

En comparant le résultat obtenu avec celui du problème 3, on 
comprend aisément que non seulement les représentations unitaires 
irréductibles, mais toutes les représentations topologiques irréduc- 
tibles dans des espaces ayant au moins une forme linéaire continue 
non nulle, sont de dimension finie. 

Corollaire 1. Chaque représentation topologiquement irré- 
ductible d'un groupe compact dans un espace localement convexe est 
de dimension finie et équivalente à une représentation unitaire. 

Corollaire 2. Pour un groupe compact G l'espace dual G 
est discret. 

Supposons que le groupe topologique G agisse d’une manière 
continue sur le groupe abélien topologique M. Désignons par 
H?(G, M) le groupe des cohomologies continues de dimension # de 
G à coefficients dans MW, c’est-à-dire le groupe quotient du groupe 
Z:(G, M) des cocycles continus par le sous-groupe B# (G, M) des 
cobords des cochaînes continues. 


Remarquons que ce dernier groupe peut ne pas coïncider avec le groupe des 
cobords continus: un cocycle discontinu peut posséder un cobord continu. 


Théorème 3. Soient & un groupe compact, V un espace 
vectoriel, dans lequel G agit suivant une certaine représentation T, et 
VG l’ensemble des éléments G-invariants de V. Alors 


0 pour 4>0, 


k — 
He(, n=| VS pour 4—0. 
Démonstration. Soit #* l'ensemble de toutes les fonc- 
tions continues sur G X ... x G (k facteurs) à valeurs dans Y. 
Définissons l’action de G dans Z* en posant 


gi f(gus -.., gr) > T'(g) fe 'ga, ..., g'lgn). 


Il est évident que l’ensemble des éléments G-invariants de 7“ 
coïncide avec l’espace C#”1 (G, V) des cochaînes continues de dimen- 
sion (4 — 1) du groupe G à coefficients dans V. L'opérateur d se 
prolonge naturellement de C*”t (G, V) à 3", de sorte que le diagram- 
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R+1 


FA Si pr > F — He ae 


Ti Î es i + Tire (b) 
CAC TV) sus CV) ECC DEC CN) Le 
soit commutatif. Ici, les flèches verticales i, sont des injections. 


Problème 5. Démontrer que la ligne supéricure du diagramme (6) 
est une suite exacte pour k > 2. 
Indication. Soit f € #À. La condition df = 0 peut être mise sous 
la forme 
k-—1 : 
(—1)##1f (go, 82... gn-1)æ D, (— 1) (go... gi, +, &n), 


i=0 


d’où l’on a f — dh, où h (£g0, oo y 8pa) = (— 1) f (go, «  …, Ep} 


D'après le théorème 1, le diagramme (6) peut être complété 
par les projections p;, de l’espace 3* sur C*"1(G, V), de manière 
à rester commutatif. 

Montrons que de ce fait découle l'exactitude de la ligne inïé- 
rieure, à partir de 4 = 2. En effet, si z € C* (G, V) et dz = 0, alors 
ir+0 dz= 0 et, par conséquent, di,:,z = 0. Donc, i+,2 = dw pour 
un certain w € Z". Alors dpyw = Pp+1dW = Pytiin+,2 = Z. Le cas 
k — 1 est analogue et donne l'égalité H° (G, V) — Ve. 

Le théorème est démontré. 

Corollaire 1. Si la représentation d'un groupe compact est 
réductible et le sous-espace invariant est supplémentable, elle admet 
alors une décomposition. 

Corollaire 2. Chaque extension topologique d’un groupe 
compact à l’aide d'un espace vectoriel est déployée. 

Remarquons que pour la démonstration du théorème 3 on faisait 
appel non pas au fait que G est compact, mais à la formule du théorè- 
me 4 qu'’entraîne la compactiicité de G. Nous verrons plus loin que 
cette formule est également valable pour les représentations de 
dimension finie des groupes semi-simples. D'où il s’ensuit que les 
corollaires 1 et 2 restent vrais pour les représentations de dimension 
finie des groupes semi-simples. 


9.3. Applications aux groupes non compacts. Certains résultats 
obtenus plus haut peuvent être généralisés. 

Ainsi, l’ «unitarisation » de la représentation T7 (c’est-à-dire la 
construction des espaces H,, des représentations T', et des opérateurs 
d’entrelacement œ;) peut être réalisée pour toute représentation 
bornée T d’un groupe amenable G. Dans ce cas, il faut choisir pour 
(£, n)x le moyen invariant de là fonction bornée g + (y, T (g) Ei x 


X (x, T (g) n). 
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Problème 1. Chaque représentation bornée 7 d’un groupe amenable 
G dans un espace hilbertien À est équivalente à une représentation unitaire. 
Indication. Soit À le moyen invariant de la fonction opératoire 


gr? l'(g) T (g)*. Démontrer que À est un opérateur invertible positif 
et T,(g) = A!72T (g) À -1/? est une représentation unitaire. 


La relation d'’orthogonalité des éléments matriciaux (voir le 
théorème 2 de 9.2) admet également une généralisation. Soit G 
un groupe localement compact unimodulaire et T sa représentation 
unitaire irréductible. Appelons T quadratiquement intégrable, si tous 
ses éléments matriciaux appartiennent à L? (G, dg). (Il est aisé de 
vérifier que 7 possède cette propriété, si au moins un élément matri- 
ciel non nul appartient à ZL?(G, dg).) 


Problème 2. Démontrer que pour les représentations quadratiquement 
intégrables les relations suivantes sont vérifiées : 


À tem (6) Fan dec (EE) Mio 9 (1) 
G 
À dei, na (6) 32e me @) de 0, (2) 
G 


si 7 et S ne sont pas équivalentes. 

Corollaire. Un groupe localement compact séparable possède au plus 
un ensemble dénombrable de représentations quadratiquement intégrables, non 
équivalentes deux à deux 


Remarquons que la constante c dans l'égalité (1) est égale dans 
le cas compact au rapport du volume du groupe (dans le sens de la 
mesure de Haar) à la dimension de la représentation. Dans le cas 
non compact ces deux grandeurs sont infinies toutes les deux, mais 
leur rapport c reste fini. La valeur c-1 s'appelle dimension formelle 
de la représentation 7. Pour les groupes de Lie semi-simples réels, 
qui possèdent des représentations quadratiquement intégrables, on 
peut normer la mesure de Haar de sorte que toutes les dimensions 
formelles soient entières. Dans le cas général, ceci n’est pas démontré. 

L'application la plus importante de l'intégration invariante 
dans le cas non compact est la construction, pour chaque groupe 
localement compact, d’un ensemble suffisamment vaste de représenta- 
tions unitaires. Nous en reparlerons en plus de détail au $ 13, nous 
limitant ici à l'affirmation suivante. 

Théorème 1 (Gelfand-Raïkov). Chaque groupe 
localement compact G possède un système complet de représentations 
unitaires irréductibles (c'est-à-dire qu'il existe pour chaque élément 
ge une représentation unitaire irréductible T telle que T (g) 1). 

Dans le cas général, ce théorème sera démontré au numéro 10.83. 
Pour les groupes séparables, il découle de la décomposition en 
composantes irréductibles de la représentation régulière G, qui agit 
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dans Z? (G, d;g) suivant la formule 
[7 (g) f] (g1) = f (g7*g1) 


(voir les théorèmes 1 et 2 de 8.4). 
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10.1. Anneau de groupe d’un groupe fini. Soit G un groupe 
fini. Désignons par Z[G] l’ensemble de toutes les combinaisons 
linéaires formelles des éléments de G à coefficients entiers. On dé- 
finit dans Z [GI] d’une manière naturelle les opérations d’addition 
et de multiplication : 


» Rigi +» Migi = > (ni + mi) gi, 


(1) 
>» Rigir D) Ms; — 2: niM;stg;. 

? J 1,9 
L'’anneau ainsi obtenu s'appelle anneau de groupe du groupe G. 
I1 est clair que chaque représentation linéaire 7 du groupe G se 
prolonge à une représentation de son anneau de groupe, si l’on pose 


(Drugs) = Dm (ai. o 


Inversement, chaque représentation non dégénérée de l’anneau de 
groupe (c’est-à-dire une représentation qui envoie l’unité de l’an- 
neau dans l'opérateur identique) s'obtient d’une représentation de G 
par la formule (2). 

Par conséquent, la théorie des représentations du groupe G est 
tout à fait équivalente à celle des représentations des Z [G]-modules. 
Si l’on s'intéresse aux représentations de G dans des espaces vectoriels 
sur le corps K, il est naturel de définir une algèbre de groupe K [G] 
du groupe G sur le corps À en posant X [G] = Z [G] @ K. On peut 


considérer les éléments de À [G] soit comme des combinaisons linéai- 
res formelles des éléments de G à coefficients dans X, soit comme des 
fonctions sur G à valeurs dans X. Pour la deuxième interprétation, 
l'addition dans X [G] est la somme usuelle des fonctions, tandis 
que la multiplication se définit par la formule 


fa * fa (g) — à fi (1) fe (ge) = à fa (R) fa (8). (3) 
g182=8 heG 
La fonction f.+f, s'appelle produit de convolution des fonctions 


fa et Joe 
Il est évident que la catégorie II (G, Æ) des représentations de G 


dans des espaces linéaires sur le corps À est équivalente à la caté- 
gorie des À [G]-modules. 
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La propriété fondamentale des représentations des groupes finis 
est exprimée par le 

Théorème de Mashke. Si la caractéristique du corps K 
n’est pas un diviseur de l’ordre du groupe G, l'algèbre K [GI est semi- 
simple. 

Démonstration. On peut définir un moyen invariant 
dans l’espace X [G] en posant 


1P= Di (@). 
8€eG 

Par conséquent, pour les représentations du groupe G sur le corps K, 
les théorèmes 1 et 3 de 9.2 sont vérifiés. En particulier, chaque 
représentation de dimension finie du groupe G (et, par conséquent, 
de l'algèbre Æ [G]l) est une somme de représentations irréductibles. 
De ce fait et du résultat du problème 2 de 3.3, il découle que le 
radical de À [G] est contenu dans le noyau de chaque représentation 
de dimension finie. Mais la représentation de X [G] dans l’algèbre 
K [G] elle-même (par translations à gauche) possède un noyau nul. 
Donc, K [G] est semi-simple. 

Corollaire. L'algèbre K [G] est isomorphe au produit d'un 
nombre fini d'algèbres de la forme Mat, (D), où D est un corps de 
dimension finie sur K. 

Ceci découle de la théorie générale des algèbres semi-simples de 
dimension finie (voir 3.5). Pour un corps algébriquement fermé K, 
nous avons un résultat plus précis. 

Théorème 2 (Burnside). Soit G un groupe fini, k le 
nombre de classes d'éléments conjugués dans G, et K un corps algébri- 
quement fermé. Alors il existe exactement k classes d'équivalence de 
représentations irréductibles de G. Leurs dimensions n;,i = 1,2, ...,k 
sont liées par la relation 


R 
Dni=1@l. (à) 


k 
L'algèbre K [G] est isomorphe au produit [|] Mat,, (K). 
i=1 


Démonstration. Soit 7,, ..., T, une famille complète 
de représentations irréductibles du groupe G, non équivalentes deux 
à deux. Prolongeons les représentations T; à des représentations de 
l'algèbre X [G], c'est-à-dire posons 


Ti (f) 2 (g) Ti (g). 


Problème 1. L'application fr {T; (f)}4 < ; <, est un épimorphisme 
R 
de X [G] sur l'algèbre I] End V;, où V, est l’espace de la représentation T;. 


i=1 
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_ Indication. Recourir aux relations d’orthogonalité (voir 9.2, 
théorème 2) des éléments matriciaux de la représentation T;. Ces relations sont 
vérifiées d'après les égalités Z (T;) = K, 


Montrons que l'application f du problème 1 est en fait un iso- 
morphisme. 

En effet, le noyau de cette application coïncide avec le radical 
de Æ [G] (voir le problème 2 de 3.8), et par conséquent, se compose 
d’un seul élément 0. 

Vu que l'algèbre End V; est isomorphe à Mat,, (Æ), on a donc 


démontré la dernière affirmation du théorème. 
L'égalité (4) découle de la comparaison des dimensions de X [G 


et de || End V.. 


CSSS | 
Il reste à démontrer que r — k. 


Problème 2 Démontrer que la fonction f € K [G] appartient au 
centre de X [G], si et seulement si celle est constante sur chaque classe d'éléments 
conjugués de G 


Ainsi, la dimension du centre de l’algèbre X [G] coïncide avec 
le nombre X de classes d'éléments conjugués du groupe G. Mais, 


d’autre part, le centre de l’algèbre II Mat,.(Æ) est évidemment de 
. 1 DA 


1? —= 
dimension r (il se compose de familles de matrices scalaires). 
Le théorème 2 est entièrement démontré. 


La structure des algèbres de groupe Æ [G], pour un corps non algébriquement 
fermé, est assez bien étudiée dans le cas où la caractéristique d’un corps ne divise 
pas l’ordre du groupe. L'étude des algèbres X [G] pour les corps qui ne satisfont 
pas à cette condition, de l’anneau Z [G] et de ses analogues 7? [G], où R est 
l'anneau des éléments entiers d’un certain corps numérique, est considérable- 


ment plus difficile. 
Pour les méthodes et les résultats principaux dans ce domaine de la théorie 


des représentations et leurs applications à la théorie des groupes finis voir les 
livres [13], [3]. 


10.2. Algèbres de groupes des groupes lopologiques. La géné- 
ralisation de la notion d’algèbre de groupe Æ [G] au cas d’un groupe 
infini nous amène à plusieurs définitions non équivalentes. 

Tout comme dans le cas fini, on peut considérer les combinaisons 
linéaires formelles d’un nombre fini d'éléments du groupe G à coef- 
ficients dans X. L’algèbre ainsi construite (que l’on désigne tou- 
jours par X [G]) est la généralisation de la notion d'’algèbre de 
oroupe la plus simple et la plus immédiate (mais non nécessairement 
la plus commode et la plus utile). 

Nous citerons ici, pour le cas À — C, les variantes de définition 


les plus usitées. 
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1. L'algèbre !!(G) est composée de fonctions complexes sur G 
qui satisfont à la condition 


LfI= 2 If (8)1< 00. 
g€eG 
La multiplication est donnée par la formule 
fa* f2(8) = D fa (h) fe (he). 
hEG 


Problème 1. Démontrer que Zi (G) est une algèbre de Banach à invo- 
lution par rapport à l’opération 
f* (8) = (87°). 
Cette variante de la définition, de même que celle de X [GI], 
reste en vigueur pour un groupe G quelconque. Malheureusement, 


l'objet ainsi défini est intimement lié à la structure algébrique du 
groupe G sans refléter sa topologie. 


2. L'’algèbre M (G) est composée des mesures complexes boré- 
liennes sur G. La norme dans M (G) est de la forme 


ul = Tu l(@), 


et l'opération de convolution, qui joue le rôle de multiplication, 
se définit par la formule 


À 1 (@ d (hu + pa) (8) = Ÿ Ÿ (ex 82) da (81) due (8), 
G G G 


pour chaque fonction f mesurable et bornée. 


Problème 2. Démontrer que M (G) est une algèbre de Banach à invo- 
lution > u* délinie par l'égalité 


| f(g) du* (eg) = \ f (g”1)dp (8). 
G G 
Désignons par M,(G) la sous-algèbre de M (G) composée des 
mesures boréliennes régulières à supports compacts. 


Problème 3 Démontrer que l'algèbre Z/! (G) est isomorphe à la sous- 
algèbre de M (G) formée des mesures concentrées sur un sous-ensemble dénom- 
brable. 


3. Pour un groupe localement compact G on peut définir une 
structure d’algèbre dans l’espace L! (G, dig), où d,g est une mesure 
de Haar à gauche. Le produit de convolution de deux fonctions de 
L\(G, dyg) est donné par la formule 


(ha ja) (8) = À fa (2) fa (te) din. 
G 


11—0361 


162 DEUXIÈME PARTIE. NOTIONS ET MÉTHODES FONDAMENTALES 


tandis que l’involution est de la forme 
f" (g) = Ac (8) f (g”°). 


Problème 4. Démontrer que les mesures absolument continues par 
rapport à la mesure de Haar forment un idéal bilatère J dans M (G), et l'applica- 
tion 

Îr> j(g) ue 
est un isomorphisme des algèbres L1 (G, dyg) et J. 
Indication. Faire appel aux résultats de 9.1. 


4. L'algèbre C* (G) (que l’on appelle C*-algèbre du groupe G) 
se définit comme étant C* (L!(G, d;g)) (voir 4.8). Elle s'obtient 
de l’algèbre Z1(G, d;g) en complétant par la norme 


Lfh= sup (I, 


où la borne supérieure se calcule sur toutes les +-représentations de 
l'algèbre L!(G, d;g) (pour ajouter ensuite l'unité si le groupe G 
n'est pas discret). 

Considérons maintenant la liaison entre les représentations du 
groupe G et celles de ses algèbres de groupe. Il est évident que chaque 
représentation 7 du groupe G dans un espace vectoriel sur le corps X 
se prolonge à une représentation de X [G], et que chaque représenta- 
tion non dégénérée de Æ s'obtient de cette manière. Par conséquent, 
de même que pour les groupes finis, la catégorie II (G, Æ) est équiva- 
lente à la catégorie des X [Gl-modules non dégénérés. Néanmoins, 
étant donné que la structure de X [G] est bien plus compliquée, ce 
fait ne joue pas ici un rôle aussi important que dans le cas fini. 

Si la représentation 7 est continue et agit dans un espace complet 
localement convexe, alors T peut être prolongé à une représentation 
de l'algèbre /,(G), en posant 


T'(u)= | T (g)du (@). 
G 


Pour la définition des intégrales opératoires voir 9.2. Nous faisons ici appel 
au fait que, pour un espace localement convexe V, l’espace End V des opérateurs 
continus dans V est localement convexe dans la topologie forte ct l'application 


gt>T (g) du groupe G dans End V est continue. 


Si T est une représentation uniformément bornée du groupe G 
dans l’espace de Banach réflexif V, alors T se prolonge à une repré- 
sentation de l'algèbre 7 (G) de la manière suivante. Si E € V et 
x E V', la fonction g+--> (4, T (g) Ë) est continue et bornée. Par 
conséquent, l'intégrale suivante existe: 


Lu (E, 0 = À Ce T (8) du (a). (0) 
G 
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I est clair que | (6, x) | CHE XxIHuI où € = 
= up I T (g) |. De ce fait et de la bilinéarité de Z,(E, x), on 


déduit que 
In (é, %) = (X T (1) oo, (2) 


où Z'(u) est un opérateur linéaire dans V à norme < C:|| pu ||. 


Problème 5. Montrer que l'application ur (1) est une représenta- 
tion (dans le cas où 7 est unitaire, une +-représentation) de l’algèbre M (G) dans 
l’espace Y. 

Indication. Démontrer les égalités 


Lugano (Es 0) = Liu (T (ue) 6, X), Lux (6, %) = Lu (x, E). 


Ainsi, chaque représentation unitaire du groupe G engendre, 
suivant les formules (1), (2), une +-représentation de l’algèbre 
L\(G, d;g). Cette représentation se prolonge à une représentation de 
l’algèbre C'* (G) que nous noterons toujours T. Les algèbres L! (G, d,g) 
et C* (G), contrairement à ÆX [G], [!(G) et M (G), ne contiennent 
pas le groupe G. Il est donc naturel de poser la question suivante : 
la représentation initiale du groupe G peut-elle être retrouvée à 
partir de la représentation de l’algèbre de groupe, et chaque repré- 
sentation de l'algèbre de groupe correspond-elle à une représenta- 
tion du groupe? 

Convenons d'appeler non dégénérée chaque +-représentation de 
l’algèbre L1 (G, d;g) ou de l’algèbre C* (G) dans l’espace hilbertien H, 
telle que les vecteurs de la forme T (f) &, f € L1(G, dig), & € H sont 
denses dans JF. 

Théorème 1. La représentation T de l'algèbre L1(G, d;g) 
(ou de C* (G)) est engendrée par une représentation unitaire du groupe G 
si et seulement si elle est non dégénérée. Si cette condition est satisfaite, 
la représentation du groupe se définit d’une façon unique par la repré- 
sentation de l'algèbre de groupe engendrée par elle. 

Démonstration. Soit 7 une représentation unitaire du 
groupe G dans l’espace Æ et 6 € H. Vu que l’application gr T (g) Ë 
est continue, il existe pour chaque & >> 0 un voisinage de l'unité U, 
tel que || T (g) Ë — É [| << e quel que soit g E U.. Si f est une fonction 
sur le groupe à support dans U, qui satisfait à la condition 


| f(@) dig = 1, alors || T' (f) E— Elle, ce qui démontre que T' 
ê 
est non dégénérée. 

Supposons maintenant que 7 soit non dégénérée. Soit {U,}, 
4 € À une base de voisinages du point g € G. Considérons une famil- 


11% 
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le {f,}, à € À de fonctions sur G qui possèdent les propriétés: 
1) fa (9 >0 et | fa (g) de 1, 
G 


2) fa (g) —0 en dehors de U,. 


Ordonnons l’ensemble À, en posant a > B si U,cU 8. Montrons 
que, pour chaque Ë € H, la limite lim T(f,) Ë existe. Vu que 
A 


@ € 

IT (fa) 1 KI fa I = 1, il suffit de démontrer que ceci est vrai 
pour un ensemble H, partout dense de vecteurs de la forme £ — 
= T'(f) n, où f est une fonction continue sur G à support compact, 
et n un vecteur de Æ. De la continuité uniforme de f il découle que 
pour chaque 8 => 0, à partir d’un certain «&, on a la relation 
fo *f — Life. Ici désignerons par L,f la translation à gau- 
che de la fonction f sur g-1: L,f(g,) = f(g”-1g,). Par conséquent, 
le filet T(f,) 8 = T (fa *f) n converge vers le vecteur T (L,f) n. 
Définissons l'opérateur T (g) d’abord sur H, par la formule 


T (8) T (fn =T (Lif) n. 


D'après ce que l’on vient de dire, nous avons [| T (g)|[| 1 et, 
par conséquent, l'opérateur 7'(g) se prolonge par continuité sur 
tout l’espace 7. 


Problème 6. Démontrer que les opérateurs 7 (g) ainsi construits 
possèdent les propriétés: 


1) T (gige) = T (81) T (ge), 
2) T (g°1) =T (g)*, 
3) T (e) = 1. 


Indication. Si {U,} cest une base de voisinages de g, ct {V, } une 
base de voisinages de g,, alors {U,, V, } est une base de voisinages de g,g2. 


Pour conclure la démonstration du théorème, il suffit de véri- 
fier que la construction ci-dessus de la représentation d’un groupe 
d’après la représentation non dégénérée de l’algèbre correspondante 
est inverse à l'opération définie par la formule (1). Nous laissons 
au lecteur le soin d'effectuer cette vérification. 


10.3. Applications des C'*-algèbres de groupes. Si G est un groupe 
séparable localement compact, l’espace L'(G, d;g) est séparable. 
Il en est donc de même pour l’algèbre C* (G). Ceci permet de démon- 
trer le théorème de décomposition des représentations énoncé au 8.4. 

Soit T une représentation unitaire de G dans un espace séparable 


== | H,du (x), et supposons décomposables tous les opérateurs 


x 
T (g), g € G. Alors les opérateurs T (a), a E C* (G) le sont aussi. 
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Soit Ÿ un sous-ensemble dénombrable dense dans C* (G). Nous 
pouvons évidemment considérer À comme étant une algèbre sur 
le corps Q (i) des nombres rationnels complexes (en ajoutant, s’il 
le faut, à À tous les polynômes dont les coefficients sont des expres- 
sions rationnelles des éléments de Y). 

Les opérateurs T (a), a E À sont décomposables et s’écrivent 
sous la forme 


[T (a) F1 (x) = T4 (a) j (x). 


Chacune des relations suivantes (où a, a, a EX, À EQ (i)) est 
satisfaite presque partout sur X: 


T (a+ @) =T; (a) +T, (a), 
Lx (a1G2) = T, (a) Le (a), 1) 
T, (ha) = AT, (a), \ 
T,(a*)=T,(a)*. 


Par conséquent, en modifiant les opérateurs T,(a) sur un en- 
semble de mesure nulle, nous pouvons considérer que (1) est partout 
vérifié. Alors, l’application a->T,(a) se prolonge par continuité, 
pour chaque x, à une +-représentation T, de l’algèbre C* (G). 


Problème 1. Démontrer que presque toutes les représentations T. 
de l’algèbre C* (G) sont non dégénérées. 

Indication. Faire appel au fait que 7 est non dégénérée et que 
est séparable, 


Modifiant encore une fois les opérateurs T, (a) sur un ensemble 
de mesure nulle, nous pouvons supposer que toutes les représenta- 
tions 7 soient non dégénérées. Alors, d’après le théorème 1 de 10.2, 
elles sont engendrées par des représentations unitaires que nous 
désignerons également par T, du groupe G dans H.. 


Problème 2. Démontrer que la représentation 7 du groupe G est la 
somme continue des représentations 7. pour la mesure u sur X. 

Indication. Il suffit de vérifier l'égalité [T (g) f] (x) = T. (g) f (x) 
pour les vecteurs f de la forme f = T (a) f,, où a € %. 


Pour les groupes non séparables, la décomposabilité d’une repré- 
sentation en somme continue et sur celle de chacun des opérateurs 
de représentation ne sont probablement pas équivalentes. 

Néanmoins, pour les groupes localement compacts quelconques, 
nous avons le 

Théorème 1 (Gelfand-Raïkov). Chaque repré- 
sentation unitaire T d'un groupe localement compact G peut être décom- 
posée en somme continue de représentations irréductibles. 


Démonstration. Sans nuire à la généralité, on peut 
supposer la représentation T cyclique. Soit & sa source. Alors, Ë sera 
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également la source de la représentation correspondante de l’al- 
gèbre C*(G). Posons p: (a) = (T (a) ë, £). C'est une forme positive 
sur C*(G). L'ensemble de toutes les formes positives sur C*(G) qui 
satisfont à la condition œ (1) — || |? est un ensemble compact 
convexe À dans C*(G)'. D’après le théorème de Choquet (voir 4.1), 
la forme œ: s'écrit de la manière suivante 


qe (a) = | qx (a) du (x), 
ZX 


où À est l’ensemble des points extrêmes du compact Æ et u est 
une mesure borélienne sur X. Soient T', la représentation de C*(G) 
qui correspond à la forme ®, et FH, l'espace de la représentation T.. 


Problème 3. Démontrer que la représentation T de l'algèbre C*(G) 
est la somme continue des représentations T, pour la mesure pu. 
Indication. Soit £, la source dans Æ,. L'isomorphisme cherché 


entre l’espace H de la représentation 7 et | H, du (x) fait correspondre au 


X 
vecteur T (a) & € H la fonction vectorielle & (x) = T, (a) &, (où &. est la source 
dans H,). 


Chacune des formes œ, correspond à une représentation non 
dégénérée de C*(G) ou bien s'écrit po (À -1 + a) = À I] Ë |, où a 
appartient à l’adhérence de ZL1(G, dyg) dans C*(G). Il est aisé 
de voir que le point , possède une mesure nulle u (autrement la 
représentation T' de l’algèbre C*(G) serait dégénérée). 

D’après le théorème 1 de 10.2, la représentation T, de l’algèbre 
C*(G) est engendrée par une certaine représentation (que nous 
désignerons également par 7.) du groupe G. 


Problème 4. Démontrer que la représentation T du groupe G est la 
somme continue de représentations 7, pour la mesure nu. 

Indication. Il suffit de vérifier l'égalité [T (g) f] (x) = T, (2) f (x) 
sur sous-ensemble dense de H composé de vecteurs de la forme T (a) f, où a est 
une fonction continue sur G à support compact. 


Passons maintenant aux applications qui se rapportent à la 
topologie de l’ensemble G. Pour chaque C*-algèbre À, on peut 
introduire une topologie dans l’ensemble Ÿ des classes d'équivalence 
des +-représentations irréductihles de Y%,. | 

Deux méthodes ci-dessous pour introduire une topologie dans Y 
sont tout à fait analogues à celles, décrites au $ 7, pour l’introduire 
dans l’espace G. Selon la première méthode, on se donne un voisi- 
nage du point [7lIEX en fixant un nombre & = 0, une famille 
finie de vecteurs E,, ..., &, de l’espace de la représentation T 
et une famille finie a, ..., am d'éléments de %À. Ce voisinage 
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se compose alors des classes d'équivalence des représentations S 
dont les espaces contiennent des vecteurs n:, . .., nn tels que 


| (T (ai) En, 81) — (S (ai) nn, ND 1 <<, 


quels que soient i E [1, ml, k E[,n], 1€ [1, ni. 

La deuxième méthode est basée sur la notion de représentation 
« faiblement contenue ». Faisons correspondre à chaque représenta- 
tion T (y compris une représentation réductible) de l'algèbre 
dans l’espace À le sous-espace fermé V (T) & Y” engendré par les 
formes ar (T (a) Eë,n), 6, n € 4. Nous dirons que la représenta- 
tion 7’ est faiblement contenue dans la famille des représentations #, 
si V (T) est contenu dans l’adhérence du sous-espace engendré par 


tous les V (S), S € #. Le point [TI € Ÿ appartient à l’adhérence de 


l’ensemble X & À, si la représentation T est faiblement contenue 
dans la famille de toutes les représentations, dont les classes appar- 
tiennent à X. 

Notons qu’une définition équivalente s'obtient en remplaçant 
l’espace V (T) par le cône V, (T) des formes positives contenues dans 
V (T). 

La troisième définition est basée sur le fait que l’on peut intro- 
duire dans l’ensemble de tous les idéaux bilatères simples d’une 
algèbre quelconque la topologie dite de J'acobson. L’adhérence d’un 
ensemble d’idéaux M dans cette topologie comprend tous les idéaux 
J qui contiennent l'idéal Jm = f\ J 

JEM 
Rappelons que l’idéal J s'appelle simple, si la relation J 2 J,J, entraîne 


JD Ji où JDJ,. Si est une C*-algèbre et 7 sa représentation irréductible, 
le noyau de cette dernière est un idéal bilatère simple de Y. 


Il se trouve que toutes les trois méthodes munissent l’ensemble 
de topologies équivalentes. Dans le cas où À = C* (G) et G n’est 
pas discret, l’ensemble Ÿ s’identifie naturellement avec G | LT}, 
où 7, est la représentation dégénérée de C* (G) qui annule Lt (G, d,g) 
{voir 10.2, théorème 1). 

Cette identification donne un homéomorphisme de l’ensemble 
de toutes les représentations non dégénérées de sur l’ensemble G. 


Pour la démonstration de toutes les assertions citées ci-dessus voir le li- 
vre [15]. 


10.4. Algèbres de groupe des groupes de Lie. Si G est un groupe 
de Lie dans l’algèbre L! (G, d;g), on peut définir de diverses sous- 
algèbres en imposant sur les fonctions f les conditions de différen- 
tiabilité (jusqu’à l’analyticité) et de décroissance rapide à l’infini 
(jusqu’à la condition de finitude). Si le groupe G est compact, la 
plus petite de ces algèbres existe elle est, engendrée par les éléments 
matriciaux des représentations irréductibles. Pour les groupes non 
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compacts, on emploie le plus souvent l’algèbre CŸ° (G) des fonctions 
finies infiniment différentiables. 

D'autre part, on peut pour un groupe de Lie quelconque, définir 
une algèbre plus large que M, (G). Soit C°” (G) l’espace de toutes 
les fonctions infiniment différentiables sur G, avec la topologie de 


la convergence uniforme sur les compacts. On sait que C° (G) est 
un espace nucléaire dénombrablement normé et que le produit 
tensoriel topologique C°(G) @ C° (G) s'identifie naturellement 
avec C” (G X G). L'espace R (G), dual à C°” (G), consiste en fonc- 
tions généralisées à support compact. 

Pour chaque x € R (G), il existe un compact minimal X pos- 
sédant la propriété (x, p) — 0 pour toutes les @ € C” (G) nulles, 
avec toutes leurs dérivées, sur ÆX. Ce compact À s’appelle support 
de % et s'écrit supp %. L'espace 1, (G) est inclus dans À (G): à 


chaque mesure u correspond la forme @ +-- \o (g) du (g). 
G 


Problème 1. Vérifier que le symbole supp u désigne toujours un même 
ensemble, si l’on considère u comme élément de 47, (G) ou de R (G). 


Définissons maintenant le produit de convolution dans R (G) en 


posant (41 * Ya P) = (A Ph Où (8) = (X» Lzp), et l'opéra- 
teur L, est de la forme [L,o] (g,) = œ (g”g,). 


Problème 2. Démontrer que sur le sous-espace M, (G) &R (G) le 
produit de convolution coïncide avec celui introduit dans 10.2. 
Problème 3. Démontrer la relation 


SUPP (X1*%2) ŒSUPP Y1 SUPP Y2. 


Indication. Si la fonction ® s’annule avec toutes ses dérivées sur 
l’ensemble supp %,-supp %2, la fonction 4 (g) = (%2, L,@) s’annule avec toutes 
ses dérivées sur l’ensemble supp 1. 


Comme corollaire de cette assertion, citons le fait que l’ensem- 
ble R (G, K) des fonctions généralisées sur G à supports compacts 
appartenant au sous-groupe Æ est une sous-algèbre de À (G). La 
structure des algèbres R (G, K) n’est pas encore suffisamment étudiée, 
excepté le cas À = {e} (voir plus loin). 

Le cas où G est un groupe de Lie semi-simple et ÆÀ son sous-groupe 
compact maximal est d’un intérêt particulier. De nombreux résul- 
tats importants obtenus ces dernières années dans la théorie des 
représentations des groupes semi-simples sont intimement liés à la 
structure algébrique de l’algèbre R (G, K). 

L'algèbre R (G, {e}) est entièrement définie par un voisinage 
infiniment petit de l’unité du groupe G. Par conséquent, elle se 
retrouve à partir de l'algèbre de Lie g de ce groupe (voir $ 6). 
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Désignons par U (9) l’algèbre dite enveloppante de l'algèbre 9. 
Par définition, U (8) est l’algèbre quotient de l’algèbre tensorielle 
T (g) (voir 3.5) par l'idéal bilatère J, engendré par les éléments 
de la forme 

X@Y—-Y@X—IX,YI, X,Y Es. (1) 

Problème 4. Démontrer que l'inclusion naturelle ®: g — U (g) est 


un objet universel dans la catégorie de toutes les applications 4 des algèbres de 
Lie q dans les algèbres associatives qui possèdent la propriété 


Ÿ (EX, YD = + (ZX) 4 (F7) — Ÿ (7) y (À). (2) 


(Les morphismes de cette catégorie sont les diagrammes commutatifs de la forme 
6 le 


où & est un homomorphisme de 4, dans 4.) 


Théorème 1 (L. Schwartz). Soit g l'algèbre de Lie 
du groupe G. L'algèbre R (G, {e}) est alors isomorphe à U (9). 

Démonstration. Réalisons l’algèbre de Lie g par des 
champs de vecteurs invariants à gauche sur Get considérons l’appli- 
cation Ÿ: g— À (G) donnée par la formule 


@p (X), f) = (XP) (e). (3) 
Il est clair que  (X) appartient à R (G, {e}). 
Problème 5. Démontrer que l'application ÿ possède la propriété (2) 
du problème 4. 


Indication. Vérilier que {ÿ (X)xÿ (Y), jf) — (XYf) (e), pour recourir 
ensuite à la quatrième définition du commutateur [X, Y] donnée dans 6.3. 


D'après le problème 4, il existe un homomorphisme 4 de l’al- 
gèbre U (9) dans R (G, {e}), qui prolonge l'application %. Il est 
aisé de vérifier que cet homomorphisme 1} envoie l’élément X, @ ... 
... © X, mod J EU (g) dans la fonction généralisée 


fr (Zur... Xnf) (e). 


Démontrons que 1 est un isomorphisme. Pour cela, introduisons 


une filtration dans U (g) et R (G, £e}) et montrons que Ÿ ne modifie 
pas cette filtration et engendre un isomorphisme des algèbres gra- 
duées correspondantes gr U (9) et gr R (G, £e}). De ce fait il est 


aisé de déduire que ker y — 0 et imp — À (G, {e}), c’est-à-dire 
que est un isomorphisme. 


470 DEUXIÈME PARTIE. NOTIONS ET MÉTHODES FONDAMENTALES 


La filtration dans U (9) s'obtient à partir de la graduation dans 
T (9): 


k 
Ur () m4 T' (8) mod J. 


Problème 6. Démontrer que l'algèbre gr U (g) est isomorphe à 
l'algèbre symétrique S (g) (voir 3.5). 


La filtration dans À (G, {e}) se définit de la manière suivante. 
Soit X,, ..., X, une base dans g. Prenons dans le voisinage de 
l'unité du groupe G un système de coordonnées canoniques corres- 
pondantes (voir 6.4): le point exp (x, X, + ... +zx,X,) a x, ... 

., In Pour coordonnées. 

Chaque élément € R (G, {e}) est de la forme 


ghi+: ‘ ln} 
fr 21 Chen GoEr gai (0) (4) 


(la somme est finie). Désignons par À, (G, {e}) le sous-espace de 
R (G, {e}) composé de tous les éléments x, dont les coefficients 
Che. à, dans la formule (4) sont nuls, pour k, +... +k, > k. 


Problème 7. Démontrer que {Az (G, {e})} est une filtration dans 


R (G, {e}) et que l'algèbre gr R (G, {e}) est isomorphe à l’algèbre C EE 


'""" 
Ô | 
* On ° 


Indication. Faire correspondre à chaque élément % € Rz (G, {e}) de 
la forme (4) l'expression 


ôR 
[x] = > C ———— |, 
R1,..., Rn GET US RE OxËn 
Ri+...+kn=k 


Démontrer que [xX1#%2] = [#1] [X2]. 


La filtration dans U (9) et R(G, {e}) possède la propriété 
D (U, (9)) & Rx (G, {e}). En effet, pour k — 1 cette propriété est 
évidente, et pour les autres k elle découle du fait que % est un homo- 
morphisme. Par conséquent, ÿ engendre un homomorphisme gr 1: 
gr U (g) + gr R (G, {e}). De la définition du système de coordon- 
nées canoniques, il s’ensuit que 


P(Xx)f + 


of 
De. (O). 


Par conséquent, gr 1 (Xx) — 6/0xx, et donc gr est un isomorphis- 
me. Le théorème est démontré. 
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La structure algébrique de U (9) joue un rôle important dans la 
théorie des représentations du groupe correspondant. 

Une précision importante au sujet de cette structure s'obtient 
en comparant UÙ (g) à l'algèbre commutative gr U (g) = S (g). 
Pour chaque souùs-espace L € U (9), désignons par gr L le sous- 
espace dans gr U (9), engendré par les éléments de la forme gr” X, 
XELANU, (a) (voir 3.1). 

Il est clair que / L est une sous-algèbre de U (g), gr L est une 
sous-algèbre de gr U (g). 

Nous appliquerons cette méthode pour décrire le centre Z (g) de 
l'algèbre UÙ (g). 

Prolongeons la représentation adjointe Ad du groupe G dans g 


(voir 6.3) à une représentation Ad dans l’espace U (ga). [Cette exten- 
put 


sion se définit d’une façon unique par la condition que Ad g est 
un automorphisme de l'algèbre U (g).] 

Théorème 2 (1. Gelfand). Soit G un groupe de Lie 
connexe. Le sous-espace gr Z (9) & gr U (g) = S (g) coïncide alors 
avec le sous-espace des éléments G-invariants de S (g). 

Démonstration. Considérons l'application linéaire 0: 
S (8) + U (4) que l’on appelle symétrisation, et qui envoie X,, ... 

, Xx € S* (9) dans 


1 
7 Di Às . Às ça EU (9) 


(la somme se calcule sur toutes les permutations s des indices 1,2,... 
0) 
L’assertion du théorème sera déduite du fait suivant qui a égale- 
ment d’autres applications importantes. 


Problème 8. L'application © est permutable à l’action du groupe G 
et définit un isomorphisme des espaces linéaires S (g) et U (g). 

Indication. L'espace S (g) est engendré par les éléments de la forme 
Xk, X Eg. La deuxième assertion se déduit du problème 6. 


Montrons maintenant que pour chaque groupe de Lie connexe 
l’ensemble des éléments G-invariants de U (g) coïncide avec Z (g). 
En effet, puisque G est engendré par un voisinage quelconque de 
l'unité, pour qu’un élément soit G-invariant, il suffit qu'il soit 
invariant par rapport aux sous-groupes exp {X, XÀ € g de dimen- 
sion 4. Mais ceci équivaut à annuler cet élément par tous les 
opérateurs de la représentation correspondante de l’algèbre de Lie. 


Problème 9. La représentation ad de l'algèbre g dans U (g) qui 
correspond à la représentation Ad du groupe G est de la forme 


adX:Y > XY—YX,XEg, Y EU (a). (5) 
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Indication. Recourir au fait que ad X est une différentiation de 
l'algèbre U (g). 


La condition (ad X) Y —0 pour tous les X € g équivaut manifes- 
tement à Ÿ EZ (Q). 
Le théorème de Gelfand découle maintenant des problèmes 8, 9 et 
de l'identité 
gr* (o(X)) = X pour X € S" (a) 


facile à vérifier. 

Le corps des quotients D (9) de l’algèbre U (g) (que l’on appelle 
corps de Lie) est un objet très intéressant et peu étudié. L’algèbre 
U (g) étant non commutative, la définition même de D (g) n’est 
pas évidente. 

Pour énoncer cette définition il faut établir certains faits préli- 


minaires. 


Problème 10. Démontrer que l’algèbre U (g) n’a pas de diviseurs de 
zéro: si XÆ0et Ÿ = 0, alors XY 0. 
ndication. Recourir à la propriété analogue de l’algèbre gr U (g) = 
= S (g). 


Problème 11. Chaque suite strictement croissante d’idéaux à gauche 
(à droite) de U (g) est finie. 

Indication. Démontrer que pour chaque idéal J & U (g) l’ensemble 
gr J est un idéal dans gr U (g). L’algèbre gr U (g) est isomorphe à l'algèbre 
des polynômes de n = dim g variables ; pour elle, comme on le sait bien, chaque 
suite strictement croissante d’idéaux est de longueur finie. 

Problème 12. Deux éléments quelconques X 0, Y Æ0 de U (q) 
possèdent un multiple commun non nul à gauche (à droite). 

Indication. Considérer la suite {J,}, où J, est l’idéal à gauche en- 
gendré par les éléments X, XY,..., XYR, pour recourir ensuite aux problèmes 
10 et 11. 


Nous pouvons maintenant définir le corps de Lie D (g). Consi- 
dérons l’ensemble de toutes les expressions de la forme XY-! et 
YIX, où X, Y EU (g)et Y = 0. Nous les appellerons respective- 
ment fraction à gauche et fraction à droite. Nous dirons que la 
fraction à gauche Y’1X, est équivalente à la fraction à droite X,Y,!, 
si X{Yo — Y,X,:. Deux fractions à gauche (à droite) s'appellent 
équivalentes, si elles sont équivalentes à une même fraction à droite 
(à gauche). 

Nous laissons au lecteur le soin de vérifier que la relation intro- 
duite est symétrique, réflexive et transitive. 

Définissons le corps de Lie D (4) comme l’ensemble des classes 
des fractions équivalentes. Il découle de l'énoncé du problème 12 
que chacune de ces classes possède des fractions à droite et à gauche. 

Les opérations dans D (g) se définissent de la manière suivante. 

Soient X,Y,! et X,Y,! les représentants des classes a, et a 
de D (G). Les éléments Y, et Y, possèdent un multiple commun non 
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nul: Z = Ÿ,Z, = YŸ,2,. Il est évident que la fraction X,Y:! est 
équivalente à X,2,27!, tandis que la fraction X,Ÿ,! est équivalente 
à X,Z9Z71. Définissons la somme a, + a, comme la classe d’équiva- 
lence de la fraction (X,Z, + X,2,) Z”!, et le rapport a,a;! comme 
la classe d'équivalence de la fraction X,Z, (X:Z,) !. Les autres 
opérations arithmétiques s'expriment en fonction des opérations 
déjà définies: aa, = a (a;1)"t, a — a = & + (—1) @. 

Il est facile de vérifier que ces opérations sont bien définies, cette 
vérification est donc laissée au lecteur. 

Il existe une hypothèse, selon laquelle, pour chaque groupe algé- 
brique G, le corps D (g) est isomorphe au corps des quotients D, ,, de 
l'algèbre R, 2, décrite dans 3.5. Ceci signifie que les générateurs de 
l’algèbre g sont liés par une transformation bijective birationnelle 
aux générateurs canoniques Py, + + +, Pns 1» © + +5 Ans Var + + +) Th 
de l'algèbre À, ,. Les nombres n et # admettent une interprétation 
très simple dans le langage de la théorie des représentations: la 
représentation irréductible typique du groupe G dépend de Æ para- 
mètres et se réalise dans un espace de fonctions de n variables. 


Pour la démonstration de l’hypothèse énoncée ci-dessus dans certains 
cas particuliers, et d’autres renseignements sur les corps de Lie voir les articles 
de I. Gelfand et de l’auteur [81], [82]. 


10.5. Représentations de groupes de Lie et de leurs algèbres 
de groupe. Chaque représentation T d’un groupe de Lie G dans un 
espace complet localement convexe V se prolonge à une représenta- 
tion de l’algèbre 27, (G). 

Si V est un espace de Banach et T une représentation localement 
bornée (c’est-à-dire que les normes des opérateurs T (g) sont bor- 
nées sur chaque compact de G), alors la représentation du groupe G 


D! 


se retrouve d’une façon unique à partir de la représentation de la 


sous-algèbre C5 (G) & M, (G). Ces assertions s’obtiennent aisément 
du théorème 1 du numéro 2 et de sa démonstration. 

Si la représentation 7 est de dimension finie, alors l'application 
gt T (g) est une fonction analytique opératoire sur G (voir 6.4). 
Par conséquent, la représentation T peut être prolongée à une repré- 
sentation de l'algèbre À (G) par la formule 


n, TND E) = (6 fe, n): (1) 


OÙ és, n (£) = (n, T (g) Ë) est l'élément matriciel de la représenta- 
tion 7, correspondant aux vecteurs £ € V et n € V*. 

Pour les représentations de dimension infinie, la situation n’est 
pas si simple. Les éléments matriciaux de ces représentations sont 
continus (d’après la définition de la représentation), mais ne sont 
pas nécessairement différentiables. Par exemple. pour une repré- 
sentation régulière 7 du groupe R agissant dans l’espace ZL? (R, dx) 
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suivant la formule 
[T (s) El (x) = E (x +5), 


l'élément matriciel fr, est de la forme 


hn= | É(e+9n( dr, 


où £, n sont des fonctions quelconques de L?(R, dx). 


Problème 1. Démontrer quet:, , peut être une fonction finie continue 
linéaire par morceaux quelconque. 
Indication. Considérer le cas de fonctions & et n constantes par 


morceaux et finies. 
Cet exemple montre que l'opérateur T (x) peut se définir par la formule (1) 
dans l’espace plus étroit formé des vecteurs dont Iles éléments matriciaux 


correspondants appartiennent à C® (G). 


On appelle espace de Gürding de la représentation T du groupe 
de Lie G, agissant dans un espace complet localement convexe V, 


le sous-espace V” & V qui consiste en tous les vecteurs & € V tels 


que l'élément matriciel 8, n (g) = (n, T (g) Ë) appartient à C°” (QG) 
quel que soit n € V”. 


Problème 2. Démontrer que l’espace de Gôrding est isomorphe 
à Hom,, (V’, C® (G)), si l’on définit l’action de G dans V’ conformément à la 
représentation T’ conjuguée à 7, ct dans (°° (G) à l’aide de translations à gau- 
che L (g). 

Indication. A chaque Ë € V” correspond une application n+> à1,} 
de l’espace V’ dans C® (G). 


Vu que l’espace C°” (G) est nucléaire, on peut identifier 
Hom (V”, C° (G)) avec le produit tensoriel topologique V @ C° (G) 
et l’espace Hom, (V’, C” (G)) avec V @ C® (G). On peut done 


considérer l’espace de Gôrding V® comme sous-espace des éléments 
G-invariants de l'espace V @ C®°(G) des fonctions infiniment 
différentiables sur G à valeurs dans V. Définissons dans V° la 
topologie induite de V @ C” (G). Autrement dit, nous supposerons 
que le filet (ci. 1.1) &, converge à £, si le filet des fonctions vec- 
torielles gi T (g) Ë, converge avec toutes ses dérivées à la fonction 
vectorielle ee T (g) Ë uniformément sur chaque compact de G. 

Chaque représentation T du groupe de Lie G dans un espace loca- 
lement convexe complet V engendre une représentation de l'algèbre 


R (G) dans l’espace de Gôrding V” d’après la formule (1). Désignons 
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cette représentation par T°. Sa restriction sur R (G, {e}) = U (g) 
est une représentation de l'algèbre U (9). 

Dans l'exemple ci-dessus, l’espace de Gôrding consiste en toutes 
les fonctions infiniment différentiables sur la droite numérique, 
dont toutes les dérivées appartiennent à Z?(R, dx). 

Théorème 1 (Gelfand-Gôrding). Pour chaque 
représentation T du groupe de Lie G dans un espace complet locale- 
ment convexe V, l'espace de Gürding V” est dense dans V. 

La démonstration est fondée sur la technique très utile et sou- 
vent employée de lissage. Nous appellerons opérateur de lissage dans 
l’espace V chaque opérateur de la forme 


T (p) = | P (g)T (g) drg, 


G 


où pECF (GE), p>0 et | pg)dg=1. 


G 


Montrons que chaque opérateur de lissage envoie l’espace V dans 
V®. Ceci découle du fait suivant ayant de nombreuses applications. 


Problème 3. Soit 4 une fonction généralisée sur le groupe G (c’est-à- 
dire unc forme linéaire continue sur l’espace C£°), et ® € C5° (G). Alors, la fonc- 
tion 

xp (g) = (p, L (g”1 p) 
appartient à C°® (G). 
Indication. Démontrer l'égalité 


L (8) (xp) = yxL (8) y, (2) 


où [Z (g) p] (g1) = ® (#18), ct en déduire que la fonction étudiée 4x est diffé- 
rentiable ct que sa dérivée par le champ X invariant à gauche est donnée par 
l'égalité X (xp) — #+Xœp (voir 6.3, problème 5). 


Pour achever la démonstration du théorème 1, il suffit de 
remarquer que l’ensemble des vecteurs « lissés » de la forme T (p)E 
est dense dans V. En effet, si U est un voisinage convexe quelconque 
du point £ dans Ÿ, alors la continuité de T entraîne T'(2)E EU 
pour chaque g d’un certain voisinage W de l’unité du groupe G. 
Alors, T(@)£É EU, si œ est nulle en dehors de W, @ >0 et 


| p (g) d,g = 1; le théorème est démontré. 
ë 
Corollaire. Si V est de dimension finie, alors (V®) — V. 


Problème 4. Démontrer que (V®)®° = V®. 
Indication. Faire appel à l’isomorphisme 


C° (GC) &C°(G)&=C°(GX G) 
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et à celui qui s’en déduit 


C® (G) @ C°(G)& C® (G). 


Problème 5. Soient 7, et T, deux représentations du groupe G dans 
les espaces complets localement convexes V, et V,. Démontrer que À € & (T;, T5) 
entraîne AV & Ve. 

| Le dication. Recourir à la relation te n— LE An pour Ë € F,; 
1 2° 


Il est à remarquer que le théorème 1 peut être déduit du problème 
5 et du fait que C® (G) est contenu dans l’espace de Gôrding de 
la représentation régulière à gauche de G. 

Il est parfois ulite de considérer l’espace plus étroit V® des 


vecteurs analytiques de l’espace V, au lieu de l’espace de Gôürding V”. 

Par définition, un vecteur Ë € V appartient à V®, si la fonction 
vectorielle g-> T (g) & est analytique sur G. Pour les représenta- 
tions dans les espaces de Banach, on peut démontrer que V® est 
dense dans V. La démonstration, comme dans le cas de l’espace de 
Gôürding, est basée sur la technique des opérateurs de lissage 7 (), 
où œ est une fonction analytique sur G, « presque concentrée » dans 
un petit voisinage de l’unité. L'existence de telles fonctions peut 
être démontrée en faisant appel à la théorie des équations paraboli- 
ques (en considérant la solution fondamentale de l’équation de cha- 
leur sur le groupe G). 

La représentation 7 d’un groupe connexe G se retrouve d’une 
façon unique d’après la représentation T® de son algèbre de Lie g 
dans l’espace V®. En effet, en se servant de la représentation de 
l'algèbre de Lie g, on retrouve la représentation de l’algèbre enve- 
loppante U (g). Connaissant cette dernière représentation, on peut 
calculer toutes les dérivées de la fonction analytique gr T (g) Ë 
au point e et, par conséquent, retrouver cette fonction. La représen- 
tation ainsi obtenue de G dans V® se prolonge par continuité à la 
représentation cherchée T dans l’espace V. 

Supposons maintenant donnée une représentation 7° de l’algèbre 
de Lie 4 du groupe G dans un sous-espace dense V? © Y. Il est 
naturel de se demander s’il existe une représentation T du groupe G 
dans l’espace V telle que V° & V” (T)et T° coïncide avec la restric- 
tion de T° à V°. 

Cette question est déjà non triviale pour G = R. La réponse dans 
ce cas (pour un espace de Banach V) est fournie par le théorème 
bien connu de I. Gelfand sur la structure d’un opérateur pour un 
groupe fortement continu à un paramètre. Récemment, S. Krein 
et A. Chikhvatov ont généralisé ce résultat aux groupes de Lie 
quelconques. Citons ici la formulation définitive en termes qui 
nous seront utiles par la suite. 
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Théorème 2. La représentation T° de l'algèbre g dans un 


sous-espace dense V° d'un espace de Banach V est de la forme T°” | vo 
pour une certaine représentation T correspondant au groupe local de 
Lie G et laissant V9 invariant, si et seulement si nous avons les condi- 
Lions : 

1) chacun des opérateurs T°(X), X € g admet une fermeture; 

2) il existe des constantes positives C et &, telles que les résolvantes 
de tous les opérateurs T° (X), où X parcourt le voisinage borné de 0 
dans g, sont définies en dehors de la bande | Re À | < & et satisfont 
à la condition 


: C 
Aa PAVI<ER TT 
Dour NA 2 3 

3) l’espace V® est invariant par rapport aux résolvantes R1 (T° (X)), 
X € 8g. 

Les deux premières conditions de ce théorème sont les générali- 
sations naturelles des conditions de Gelfand, auxquelles doit satis- 
faire le générateur À d’un groupe d'opérateurs à un paramètre. 

Il est à remarquer que si l’on prend pour V? l'intersection des 
domaines de définition des fermetures des opérateurs 4”, la troisième 
condition dans lc cas de dimension 1 est automatiquement satis- 
faite. 

Pour le cas où V est un espace hilbertien et 7 une représentation 
unitaire, il existe un résultat plus précis. 

Théorème 3(E. Nelson). Pour que la représentation T° 
de l'algèbre g d’un groupe de Lie connexe simplement connexe G définie 
sur un sous-espace dense H° de l’espace hilbertien H soit engendrée 
par une représentation unitaire T du groupe G dans l’espace H, il 
faut et il suffit que les opérateurs 


TO (X a), ..., TX) et A= D [TV (X:)l, 
R=—1 


où À, ..., XA est une base de g, admettent des fermetures hermitien- 
nes. 

Pour la démonstration de ce théorème et de nombreux exemples 
intéressants voir l’article de E. Nelson [123]. 
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11.1. Caractères des représentations de dimension finie. On 
appelle caractère d'une représentation T de dimension finie du groupe 
G la fonction 


Xr (g) = tr T (g). 
12—0361 
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De cette définition et des propriétés de la trace d’un opérateur 
(voir 3.3), on peut déduire que la fonction Y-+ est constante sur 
chaque classe d'éléments conjugués de G et ne dépend que de la 
classe d'équivalence de la représentation T. Si T, est une sous-repré- 
sentation de 7, et 7’, la représentation quotient correspondante, 
alors %r = YXr, + Y%r:. D'autre part, comme il est aisé de vérifier 
(cf. 3.3), on a l'égalité 


XT1QT2 —= XT1IXTge 


Ainsi, l'application T + yr définit un homomorphisme de l’anneau 
de Grothendieck T (G) (voir 7.1) dans l’anneau des fonctions sur G, 
constantes sur les classes d'éléments conjugués. 

Théorème 1. Une représentation irréductible T du groupe G 
dans un espace vectoriel de dimension finie est définie à une équivalence 
près par son caractère Yr. 

Démonstration. Considérons l’espace V (T) des fonc- 
tions sur G engendré par les éléments matriciaux de la représen- 
tation 7. Il est évident que la représentation S du groupe G dans 
l'espace V (T) par translations à gauche est la somme de n =—dim 7 
représentations irréductibles, équivalentes à T. D’après le théorème 
de Jordan-Gôülder (voir 8.1), chaque sous-représentation irréductible 
S est équivalente à 7. Donc, pour retrouver T, il suffit de choisir 
un sous-espace irréductible quelconque dans l’espace V engendré par 
les translations de la fonction y7. (On peut montrer qu’en fait V 
coïncide avec V (T), mais pour notre démonstration, il suffit de 
l'inclusion évidente V & V (T).) Le théorème est démontré. 

Pour les représentations unitaires des groupes compacts, on a le 

Théorème 2. Les caractères des représentations unitaires irré- 
ductibles d'un groupe compact G forment une base orthonormée dans 
l'espace H & L?(G, dg) composé des fonctions constantes sur les traces 
d'éléments conjugués dans G. 

Démonstration. Les relations 


(xr,, Xr2) = 0 pour 7 et 1, non équivalents (1) 
et 
(Xxrs Xr) = 1 (2) 


découlent immédiatement des relations d’orthogonalité démontrées 
au 9.2. Il reste à vérifier que si f € H et (f, %r) — 0 pour toutes 
les représentations irréductibles T, alors f = 0. 
Problème 1. Sif € EH, alors pour chaque représentation irréductible T 
) D - ,. — (f, XT 
nous avons l'égalité T (f) — Enr 4. 
Indication. Démontrer que T (jf) € € (T) et que tr T'(f) = (f, yr). 
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Par conséquent, si f € H et (f, Xxr) = 0 pour toutes les repré- 
sentations irréductibles 7, les opérateurs 7 (f) s’annulent pour 
toutes les représentations unitaires T, puisque chaque représenta- 
tion unitaire est la somme continue de représentations irréducti- 
bles !). Appliquant cette assertion à la représentation régulière de G 
dans L? (G, dg), on remarque que f — 0. Le théorème 2 est démon- 
tré. 

Corollaire. Soit $S une représentation de dimension finie 
du groupe compact G. La décomposition de cette représentation 
en composantes irréductibles est de la forme 


ù NT 
S= D}, (xs: X7)T. (3) 
[TK G 
Problème 2. Démontrer que pour les représentations irréductibles 


d’un groupe compact G dans les espaces vectoriels réels, l'égalité (1) reste véri- 
fiée, tandis que l'égalité (2) s'écrit sous la forme 


(xr, Yr) = dima @ (T). (2) 
Indication. lccourir au théorème 3 de 8.2. 


La théorie des caractères est une des méthodes les plus puissantes 
pour étudier les catégories IT (G, Æ) et les relations entre ces caté- 
gories pour de différents corps et anneaux X. Le livre de J. P. Serre 
[49] est une excellente introduction à ce domaine de la théorie des 
représentations. 

Nous nous limiterons ici à citer deux résultats possédant de 
nombreuses applications. 

Soit 7 une représentation irréductible unitaire du groupe com- 
pact G. Alors, comme nous l’avons vu dans 8.2, les trois cas suivants 
peuvent se présenter : 


1) %r Æ Xr; la représentation T n'est pas équivalente à la 


représentation T'; la représentation réelle TR est irréductible et 
appartient au type complexe ; 


2) Yr —= YXr; la représentation T est équivalente à 7 et à une 
certaine représentation réelle de type réel ; 


3) Xr = YXr; la représentation T est équivalente à T7, mais 
n’est équivalente à aucune représentation réelle ; la représentation 
TR appartient au type quaternionique. 

Théorème 3 (Critère de Shur). Les cas cités plus 


haut se distinguent par la valeur de Xr (g°) dg égale à 0, +1, —-1 res- 


pectivement. (La mesure de Haar dg est considérée normée de sorte 
que | dg = 1.) 
G 
1) Pour les groupes compacts, il suffit de considérer les sommes discrètes. 
42% 
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La démonstration est fondée sur l’identité utile suivante 


X (8°) = Xsar (8) — Xnar (8); (4) 
où S?(T)et /\°T sont les puissances symétrique et extérieure respec- 
tivement de la représentation T. En eïfet, si u,, ..., u,\ sont les 


valeurs propres de l'opérateur T (g), alors l'opérateur S?T (g) pos- 

sède les valeurs propres u;u;, i <j et l'opérateur /\?T les valeurs 

propres u;Uj, à << j. Par conséquent, 

tr S°T (g) — tr A°T (g) — À bib — 2 mi = Dpt =trT (eg) = 7 (82). 
Rappelons maintenant que, d’après la formule (3), la valeur 

| Xr (g) dg est égale au nombre de représentations unitaires dans la 

dé 


composition de la représentation 7. 
Par conséquent, | Xr (g?) dg est la différence entre le nombre de 


G 
vecteurs invariants indépendants de S?V et de /\°?V, où V est l’espa- 
ce de la représentation 7. Mais 


S2Y @ A°V = V @ V = Hom (V, V*). 


Le nombre d’invariants indépendants dans ce dernier espace est 


égal au nombre d’entrelacement c (T, T). D'après le lemme de 
Shur, il est nul dans le premier cas (lorsque T n’est pas équivalent 
à T), égal à 1 dans le second et le troisième (lorsque T = T). Pour 
démontrer le théorème, il suffit de vérifier que l’élément invariant 
AGIT, T) (défini d’une façon unique à un facteur numérique 
près d’après le lemme de Shur) est inclus dans S? (V), si T est équi- 
valente à une représentation réelle, et dans /\? T dans le cas con- 
traire. Supposons T' réelle et, par conséquent, orthogonale. Alors 


S? (V) possède un élément invariant di: @ v;, où {v;} est une base 


L 
orthonormée de V. Inversement, si S?(V) possède un élément inva- 
riant, il sera, dans une base appropriée, de la forme > v; @.v; (puis- 
que dans un espace complexe toute forme quadratique non dégénérée 
se diagonalise). Par conséquent, l’image du groupe G par la repré- 
sentation 7 est contenue dans le groupe O (n, C), n = dim Ÿ. On 
sait que chaque sous-groupe compact maximal de O (n, C) est conju- 
gué avec O (n, R). La représentation T est donc équivalente à une 


représentation réelle. 
Il existe d’autres manières de terminer cette démonstration. 


Problème 3. Démontrer que dans le cas (3), l'élément invariant 
de /A?V est l’image du quaternion k € H par l'identification naturelle de H 


avec € (TR). 
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Problème 4 Démontrer le théorème 3 en appliquant aux représenta- 
tions T et T la méthode de construction des opérateurs d’entrelacement, décrite 
au $ 94 


Le deuxième résultat se rapporte à la théorie des représentations 
des groupes finis. 

Théorème 4. Si T est une représentation unitaire irréduc- 
tible d'un groupe fini G, alors dim 7 est un diviseur du nombre |G |. 

Démonstration. Il découle des relations d’orthogonalité 
des éléments matriciaux (voir 9.2) que 


G 
XT * XT — EU _ XÀT: (5) 


Itérant cette relation n fois, nous obtenons l'égalité 
G je 
Lrt tr (= er (6) 


Faisons maintenant appel à la notion de nombres entiers algébri- 
ques et à leurs propriétés les plus simples. Le nombre À € C s'appelle 
entier algébrique s’il satisfait à une équation de la forme 


NE ai... Lan 0, (7) 
où a; € Ze 


Problème 5. Démontrer que les nombres enticrs algébriques forment 
un sous-anneau de C. 

Indication. Recourir aux formules de Viète et montrer que si A, ... 
..., Àn €t My, . - ., du, Sont des collections de racines de deux équations de la 
forme (7), alors {À; + u;} et {A;u;} sont également des collections de racines 
de deux équations de la forme (7). 

Problème 6. Démontrer qu’un nombre rationnel est entier algébrique 
seulement s’il est entier. 

Indication. Supposer que À = p/q soit une fraction irréductible et 
multiplier le membre gauche de l’équation (7) par 9". Démontrer que l’on obtient 
alors un nombre entier, non divisible par g. 

Problème 7. Démontrer que le caractère de la représentation d’un 
groupe Îini G prend des valeurs entières algébriques en chaque point g€G. 

Indication. SigeEG, alors gN — e pour un certain À entier. Par 


conséquent, les valeurs propres de l’opérateur T (g) satisfont à l'équation "= 


L'’énoncé du théorème découle du fait suivant. 


Problème 8 Démontrer que les deux membres de l'égalité (6) sont 


des nombres entiers. 
Indication. Récrire le membre gauche sous la forme 


> XT (81) +. XT (En+1) 


8182.e.8n+1—=€ 


et recourir aux résultats des problèmes 5-7. 
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Une autre démonstration du théorème 4, également basée sur 
la notion de nombre entier algébrique, s'obtient en considérant 
deux bases dans le centre de l’algèbre C [G] : une base se compose de 
caractères des représentations irréductibles, l’autre de fonctions 
caractéristiques des classes d'éléments conjugués (voir, par exemple, 
[49)). 

Le résultat du théorème 4 peut être précisé de la manière sui- 
vante : 


Problème 9. Soit Z le centre du groupe G. Alors la dimension d’une 
représentation irréductible quelconque 7 du groupe G cst un diviseur du nombre 


IGI/12 1. 

Indication(Tate). Démontrer que la représentation T X ...X T 
du groupe G X ... X G (n Îacteurs) est irréductible et triviale sur le sous- 
groupe de Z X ... X Z formé de tous les éléments (2, . .., z,) tels que 

ñn 


Il 2j; — €. 
—1 


Cette propriété des dimensions, réunie aux égalités de 10.1, 
permet de « prédire », pour de nombreux groupes concrets, La dimen- 
sion de leurs représentations irréductibles avant de les construire 
effectivement. 


11.2. Caractères des représentations de dimension infinie. La 
définition du caractère donnée au 11.1 n’est plus valable pour les 
représentations de dimension infinie, puisque les opérateurs T'(£) 
ne sont pratiquement jamais nucléaires et ne possèdent donc pas 
de trace raisonnable. Néanmoins, on peut souvent définir le carac- 
tère d’une représentation de dimension infinie comme une fonction 
généralisée sur le groupe G. Cette définition appartient à I. Gel- 
fand et peut être énoncée de ia manière suivante : 

Soit Dr(G) une certaine sous-algèbre de l’algèbre de groupe 
M (G) du groupe G, possédant les propriétés : 

1) l'espace D (G) est invariant par rapport aux translations 
à droite et à gauche de G; 

2) la représentation 7 du groupe G engendre une représentation 


T de l'algèbre D > (G) et se retrouve de façon unique à partir de cette 
représentation T ; 

3) les opérateurs T (a), a € Dr (G) sont nucléaires (c’est-à-dire 
qu'ils appartiennent à V” @ V) et l'application T:Dr(G)— 
—+ V' À V est continue. 


Appelons caractère de la représentation TJ’ la forme linéaire % € 
€ Dr(G) définie par l'égalité 


(y. a) = tr à (a). (1) 
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Si G est un groupe de Lie, et Dr (G) = Co (G), le caractère % 
est une fonction généralisée sur G dans le sens usuel de ce terme. 

Pour une représentation de dimension finie 7 on peut prendre 
pour Dr (G) la sous-algèbre M, (G) (ou bien l'algèbre M (G) toute 
entière, lorsque 7 est bornée). Dans ce cas, le caractère x sera de la 
forme 


Ge H)= (47 (8) du (8), (2) 
G 


où xr est le caractère usuel de la représentation T, défini dans 11.1. 
Pour les groupes de Lie semi-simples, Harish-Chandra a démon- 
tré le fait remarquable suivant (voir [93]). 
Si Test une représentation unitaire irréductible de G, alors le carac- 


tère de T est défini sur la sous-algèbre C5 (G) et se met sous la forme 


x 1 = À ur (8).f (8) de, (3) 


G 


où yr est une fonction mesurable, localement sommable sur G. 

Notons que pour les représentations concrètes T', il n’est en géné- 
ral pas difficile de calculer la fonction x7. Nous le ferons pour une 
large classe de représentations au $ 13. La difficulté principale con- 
siste à démontrer le théorème sans encore savoir la forme explicite 
de la représentation. 

Pour les groupes de Lie nilpotents, les caractères des représen- 
tations unitaires sont également définis sur C6 (G), mais peuvent 
s'avérer des fonctions généralisées de nature plus compliquée (ou 
plusieurs variables sont remplacées par la 6-fonction). 

Les caractères des représentations irréductibles unitaires des 
groupes de Lie résolubles sont encore plus compliqués. Leur domaine 
de définitior. est en général beaucoup plus étroit que Co (G). Dans 
ce cas, pour que l'opérateur T (f) possède une trace, il ne suffit pas 
que la fonction f soit différenciable et finie, mais il faut avoir encore 
des conditions supplémentaires définissant dans Co (G) un sous- 
espace de codimension infinie. Nous en reparlerons en plus de détail 
aux $$ 12 et 15. 

Il peut arriver enfin (même pour un groupe de Lie) que l’opéra- 
teur T (a) n’est nucléaire que pour les éléments de l'algèbre de grou- 
pe appartenant au noyau de la représentation T7. 

Théorème 1. Soit G un groupe localement compact. Pour 
que le caractère de chaque représentation irréductible T dans l’espace H 
soit défini sur un certain sous-espace Dr (G)  C* (G) qui possède la 
propriété T (Dr (G)) Æ 0 il faut et il suffit que G soit apprivoisé. 
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Par conséquent, les groupes apprivoisés sont naturellement défi- 
nis du point de vue de la théorie des caractères dans l’ensemble de 
tous les groupes localement compacts. 

Le théorème 1 découle du théorème suivant qui se rapporte aux 
C*-algèbres. 

Théorème 2(Dixmier-Glimm-Sakai). Les pro- 
priétés suivantes de la C*-algèbre À sont équivalentes : 

1) Pour chaque +-représentation irréductible T de l'algèbre Y, 
son image T (A) contient au moins un opérateur complètement continu. 

2) Pour chaque +-représentation irréductible T de l'algèbre |, 
son image T (À) contient tous les opérateurs complètement continus. 

3) Chaque +-représentation À appartient au type I. 


Pour la démonstration de ce théorème dans le cas des C*-algèbres À sépara- 
bles, voir le livre de Dixmier [15]. On y trouvera également les références aux 
articles de Sakai où l’on traite le cas non séparable. 


Les caractères introduits possèdent de nombreuses propriétés 
des caractères usuels des représentations de dimension finie. Ainsi, 
ils sont invariants par rapport aux automorphismes internes 
Gi (x LeRgf) = ir T(LRf) = tr IT (g) T (f) T'(g)) = 
— tr T (f) = (x, f). (Pour une fonction usuelle y celle proprieté 
se réduit à l’invariance sur les classes d'éléments conjugués.) 

Théorème 3. Une représentation irréductible T est définie 
à équivalence près par son caractère. 

Démonstration. L'ensemble des éléments a € C* (G), 
tels que a*a € D > (G), forme un espace préhilbertien par rapport au 
produit scalaire (a, b); — (x, b*a). Soit Hy l'espace hilbertien 
correspondant. L'application a — T (a) définit un isomorphisme de 
H, sur l’espace des opérateurs de Hilbert-Schmidt dans l’espace H 
de la représentation 7, cel isomorphisme envoie les translations 
à gauche et à droite par g € G dans les opérateurs de multiplication 
à gauche et à droite par T (g). La représentation de G dans H; 
par translations à gauche est donc équivalente à (dim 7)-T. 

Ainsi, dans chaque sous-espace irréductible 77 nous obtenons une 
représentation équivalente à T. 

Par les théorèmes 1 et 3 la classification des représentations irré- 
ductibles unitaires des groupes apprivoisés se ramène à étudier tous 
leurs caractères. Nous verrons dans 11.3 que pour les groupes de 
Lie, les caractères satisfont à un certain système d'équations diffé- 
rentielles, ce qui permet dans de nombreux cas importants de leur 
donner des formules explicites. 

Le fait que le domaine de définition d’un caractère n’est pas 
connu a priori et, en particulier, s’il contient ou non une seule au 
moins « vraie » fonction sur le groupe rend l’analyse des caractères 
assez difficile à réaliser. (Rappelons que la C*-algèbre du groupe G 
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s'obtient en complétant L’ (G, d;g) pour une certaine norme. Le 
calcul de cette norme nécessite la connalssance de beaucoup de repré- 
sentations de G. Par conséquent, la structure des « éléments idéaux » 
à ajouter n’est pas connue a priori.) Bien que l'intersection Dr (QG) f 
N L'(G, dig) soit dense dans D} (G) pour tous les exemples étudiés 
jusqu’à présent le théorème général n’est pas encore démontré. 


11.3. Caractères infinitésimaux. Les caractères des représen- 
tations irréductibles d’un groupe de Lie admettent une autre défi- 
nition qui n’a un sens que pour les représentations irreduclibles. 

Soient G un groupe de Lie connexe, g son algèbre de Lie, U (a) 
l'algèbre enveloppante et Z (g) son centre. 


Problème 1. Démontrer que Z (g) se trouve dans le centre de R (G) 
(pour l'inclusion naturelle de U (g) & R (G, {e}) dans 7? (G); voir 10.4). 

Indication. Les combinaisons linéaires des delta-fonctions ô, (par 
définition (Ô,, f) =f(g) pour f €C®(G)) forment un ensemble dense dans R (G). 
L'assertion du problème découle du fait qu’un groupe connexe est engendré par 
un voisinage canonique de l’unité et par l’identité ci-dessous. 

Problème 2. Soit XEU(g, Y Eg; alors 


dexp Y * À * exp y) — € rx — Ad (exp Y)X, 


où Ad (respectivement ad) est une représentation de G (respectivement de g) 

par automorphismes (respectivement par différentiations) de U (g), qui pro- 

longe la représentation adjointe (respectivement régulière). 
Indication. Etudier d’abord le cas X €. 


Si T est une représentation irréductible de dimension finie d’un 
groupe connexe de Lie G, alors, d’après le lemme de Shur, les élé- 
ments du centre À (G) sont transformés en opérateurs scalaires. En 


particulier, pour z € Z (a) 
T (2) = kr (2) 1. (1) 


Il est évident que l’application z > À (z) est un homomorphisme de 
l’algèbre Z (4) dans le corps C. Cet homomorphisme s'appelle carac- 
tère infinitésimal de la représentation T. Etudions ses rapports avec 
le caractère usuel. 


Problème 3. Démontrer l'identité 


hr (G)= SU. (2) 


Indication. Mettre dans le membre gauche de (if) la définition de 
T (z) (voir 10.5) ct prendre ensuite la trace des deux membres. 


Par conséquent, le caractère infinitésimal À- peut être déterminé 
à partir du caractère usuel #7. 
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Le problème de la validité de la réciproque dépend du groupe 
considéré et s’avère plus difficile à résoudre. 


._. Problème 4. Soit T une représentation irréductible de dimension 
finie du groupe G et À son caractère infinitésimal. Démontrer que chaque élé- 
ment matriciel { ‘ de la représentation 7 satisfait au système d’équations 


différentielles 
Z2#le,n— kr (2) l,nr 2€ Z (g). (3) 
[ndication. Faire appel à l'identité 


T (ax84) = T (2) T (8e) = kr (2) T (9). 


Vour déterminer le caractère y7 à partir du caractère infinité- 
simal Ar, il faut, par conséquent, résoudre le système d'équations 
(3) dans la classe des fonctions invariantes par rapport aux automor- 
phismes internes. Pour les groupes de Lie semi-simples, le problème 
considéré peut être complètement résolu (il se réduit à résoudre un 
système d'équations différentielles à coefficients constants; voir 
[65)). Le cas général se réduit pratiquement au cas semi-simple, car 
chaque groupe linéaire irréductible est soit semi-simple, soit le 
produit d’un sous-groupe semi-simple et du centre de dimension 1. 
Par conséquent, si 7 est une représentation exacte irréductible du 
oroupe G, alors son caractère y (et par conséquent la représentation 
elle-même) est défini par le caractère infinitésimal Àr. 

Remarquons que l'exigence que T soit exacte est ici fort impor- 
tante. Par exemple, le groupe des transformations affines de la droite 
x —> ax + b possède une série de représentations de dimension 1 
T, (a, b) = a°, qui ne sont pas définies par le caractère infinité- 
simal, vu que pour ce groupe Z (g) se compose de scalaires. 

Passons au cas de dimension infinie. Soit T7 une représentation 
irréductible de G dans un espace localement convexe complet V, 


et T° la représentation correspondante de À (G) dans le sous-espace 


de Gôrding V*< V. Alors les opérateurs T° (2), z€ Z (g) sont 
permutables à tous les opérateurs de la représentation T. En géné- 
ral, on ne peut pas encore en déduire qu'ils sont des scalaires. La 
méthode usuelle à éviter cette difficulté consiste à ne considérer que 
les représentations vérifiant (1). Ces représentations s’appellent 
simples. 

Théorème 1. Chaque représentation irréductible unitaire T 
du groupe de Lie G est simple et, par conséquent, possède un caractère 
infinitésimal Àr. 

Démonstration. Faisons appel au fait que la représen- 
tation 7 est 2-irréductible (voir 7.3), et, donc, chaque opérateur 
fermé, permutable aux opérateurs de T, doit être scalaire. Soit 


z € Z (4). Représentons z en forme de somme des composantes homo- 
a 


gènes: z — zx, Zn € O (S* (g)) (voir 10.4). Du théorème 2 et du 
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problème 8 de 10.4 il découle que chaque composante z, se trouve 
également dans Z (g). Montrons que l’opérateur T° (z,) admet une 
fermeture. En effet, les opérateurs T° (X), X € g ont la propriété 
T'(X)e T'(—X)* (voir 10.5). Par conséquent T° (4) & 
œ (—1)8T® (z2)*, ce qu'il nous fallait pour démontrer le théo- 
rème. 

De même que dans le cas de dimension finie, on démontre que les 
éléments matriciaux de la représentation 7 satisfont au système 


d'équations (3). Supposons que la représentation T possède un carac- 
tère généralisé (dans le sens indiqué dans 11.2), défini sur un cer- 


tain sous-espace D (G) & C6 (G). Montrons que ce caractère #% 
satisfait également au système d’équations : 


244 = Àr (2) 4, 2 € Z (g). (4) 


Par définition, cela signifie que pour chaque fonction f € D (G) 
on a l'égalité 
(24%, f) = Ar (2) (x f), 
c'est-à-dire 


@, tr T8) TO) = kr (2) tx TP), 


ce qui découle de la nucléarité de T° (jf) et des relations (3) pour les 
éléments matriciaux de la représentation T. 


Ce résultat donne la possibilité de chercher les caractères généralisés des 
représentations unitaires irréductibles comme solutions d’un système d’équations 
ditférenticlles (4) dans la classe des fonctions généralisées sur G, invariantes par 
rapport aux automorphismes internes de G. 

Pour les groupes de Lie complexes semi-simples, cette. méthode permet 
de classilier totalement une large classe de représentations simples, y compris 
toutes les représentations unitaires et les représentations dans les espaces de 
Banach. 

Malheureusement, les tentatives d’en distinguer les représentations unitaires 
co heurtent à des difficultés considérables. Cette étude n’est pas encore terminée. 

Pour plus de détails sur ces problèmes de la théorie des représentations, 
voir {63], 197], [120]. 


La théorie des caractères infinitésimaux dépend essentiellement 
de la structure de l’algèbre Z (9). Nous avons vu au 10.4 que l’al- 
oèbre gr Z (g) coïncide avec l’algèbre S (9)% des éléments invariants de 
l'algèbre S (g). Dans tous les exemples examinés, l’algèbre Z (a) 
est isomorphe à gr Z (9). En particulier, ce fait est démontré pour 
les groupes de Lie semi-simples et résolubles. 

Une interprétation de ce fait du point de vue de la méthode des 
orbites sera donnée au $ 15 !). 


1) M. Duflo a récemment démontré ce fait à l’aide de la méthode des orbites 
dans Je cas général; voir [75]. 
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La construction et l’étude des caractères infinitésimaux généralisés, 
liés au corps de Lie D (g) (voir 10.4) est un problème particulière- 
ment intéressant. Soit X un élément du centre de D (g). Cet élément 
s'écrit sous la forme : PO”, P,Q EU (9). 

Si T7 est une représentation irréductible unitaire du groupe G, 
et T° la représentation correspondante de U (g), les opérateurs 
T°” (P)et T° (Q) ne diffèr. nt que d’un multiple scalaire : T° (P) — 
— ÀT® (QG). 

On peut montrer que le nombre À ne dépend que de X (et non du 
choix de P et Q dans l'égalité X — PQ”); nous le désignerons donc 
par À (X). La correspondance X + À (X) définit une application du 
centre du corps D (g) dans la sphère de Riemann C et possède la 
propriété 

A(X +Y)=A(X) +A(Y), A(XTY) = A (ZX) À (7) 


dans tous les cas, où les identités écrites ont un sens. C’est cette 
application qui est le caractère infinitésimal de la représentation 7. 


$ 12. TRANSFORMATION DE FOURIER 
ET DUALITÉ 


Une des branches de la théorie des représentations des groupes, 
appelée analyse harmonique, consiste à étudier les espaces de fonc- 
tions sur les groupes et les espaces homogènes en termes des repré- 
sentations qui y apparaissent. Un rôle important revient ici à la 
transformation généralisée de Fourier. On sait bien que la transior- 
mation de Fourier classique sur la droite réelle transforme les trans- 
lations en multiplications par une fonction et permet donc d'obtenir 
la décomposition spectrale d’un opérateur quelconque permutable 
aux translations (par exemple l'opérateur différentiel à coefficients 
constants). La représentation généralisée de Fourier est appelée 
à jouer le même rôle pour un groupe quelconque. Cette transforma- 
tion se définit de la manière suivante. Soit G un groupe topologique 
et G@ l’ensemble des classes d'équivalence des représentations unitai- 


res irréductibles de G. Choisissons pour chaque classe À € G une 


représentation 7:, appartenant à cette classe, qui agit dans un 


espace hilbertien A,;. 
La représentation T, se prolonge à une représentation de l’anneau 
de groupe M (G) dans le même espace 73. On appelle transformation 


de Fourier de l’élément u € M (G) toute fonction opératoire u sur G 
prenant au point À € G la valeur dans End A; définie par la formule 


(A) = | 7. (8) du (). 1) 


G 
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En particulier, si le groupe G est localement compact, et f € 
E L1(G, dig) nous écrirons 


F= | F(@ T.(@ dus. (2) 


G 


Si G est un groupe de Lie, la notion de transformation de Fourier 
se généralise aux éléments de l’anneau R (G), en posant 


z(N =TX (x) € End HŸ. (3) 


I1 est évident que la transiormation ainsi définie applique cha- 
que translation à gauche (à droite) par g dans l’opérateur de multi- 
plication à gauche (à droite) par la fonction opératoire À > T} (g). 
Nous verrons plus loin que dans le cas le plus général de nombreuses 
propriétés usuelles de la transformation de Fourier classique restent 
inchangées. Pour certaines classes de groupes (commutatifs, com- 
pacts, finis), la transformation de Fourier est déjà bien étudiée et 
possède des propriétés particulières. Nous commençons par étudier 
ces classes de groupes pour passer ensuite au cas général. 


12.1. Groupes commutatifs. La propriété essentielle des groupes 
commutatifs, du point de vue de l’analyse harmonique, est que 
l’espace dual @ représente lui-même un groupe topologique. Toutes 
les représentations unitaires irréductibles d’un groupe commutatif G 
sont de dimension 4 (voir le théorème 2 de 7.3 ou 4.4). Par consé- 
quent, le produit tensoriel de deux représentations irréductibles est 
à nouveau irréductible. Chacune de ces représentations peut être 
considérée comme fonction numérique usuelle sur G satisfaisant 
aux conditions 


Î (giga) = f (a) f (go), 1 1= 1. (1) 


L'opération de produit tensoriel se réduit à la multiplication 
usuelle des fonctions. Il est clair que par rapport à cette opération G 
est un groupe. L'unité de G est la représentation triviale f, (g) = 1, 


et l'élément inverse de f sera sa représentation conjuguée complexe f. 
La topologie définie dans 7.3 se réduit dans ce cas à la topologie de 
convergence uniforme sur les compacts. 


Problème 1. Vérifier que 6 est un groupe topologique, et que si 
G est localement compact (respectivement discret, compact), alors G est locale- 
ment compact (respectivement compact, discret). 


Le groupe G ainsi obtenu s'appelle dual au groupe G par dualité 
de Pontriaguine, ou groupe dual, ou, enfin, groupe des caractères du 
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groupe G. (Remarquons que chaque représentation de dimension 
coïncide avec son propre caractère.) 


Le groupe G nous permet de construire une fois de plus le groupe 


dual (G)° = G, etc. Il existe une application naturelle de G dans G, 
qui fait correspondre à chaque élément g € G le caractère (c’est-à- 


dire la représentation de dimension 1) du groupe G prenant au 


point 4 EG la valeur # (g). 
Pour les exemples plus importants, lorsque G = R, Z ou T, 


les groupes duaux (sans topologie) ont déjà été calculés au $ 6 (voir 
problème 4 de 6.1). 


Problème 2. Démontrer que nous avons les isomorphismes de groupes 
topologiques suivants: 


Les transformations de Fourier correspondantes sont depuis 
longtemps employées dans diverses branches des mathématiques 
et leurs applications. Si G—R, la transformation de Fourier 
s'écrit 


ee | eiMf (#) dt 


et coïncide donc avec la transiormation de Fourier classique. 
Pour G = T., nous obtenons 
27 
Ï (n) = | enpf(o)dp, nEZ, 
0 


où œ est le paramètre canonique (l'angle) sur le cercle T. Par consé- 

quent, la transformation de Fourier de la fonction f dans ce cas lui 

fait correspondre la famille des coefficients dans sa série de Fourier. 
Pour G = Z. la formule générale s'écrit sous la forme 


f(a= 2 f(n)#, ET, 


c’est-à-dire qu à la suite {f(n)} on fait correspondre sa fonction 
génératrice. 
Enfin, pour G = Z,, la transformation de Fourier s'écrit 
n— 1 


f(h)= D f(elin, k, 1EZ. 
I=0 


Dans tous les exemples cités, le groupe G est isomorphe à G, 
et cel isomorphisme peut ôtre défini de sorte que les transformations 
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de Fourier de G à G, et de G à G= G soient inverses l’une à l’autre. 
Ce fait est la manifestation du principe général de dualité, que l’on 
peut énoncer de la manière suivante. 

Théorème 1 (LL Pontriaguine). Pour chaque 
groupe localement compact commutatif G, l'application canonique de G 


dans G est un isomorphisme de groupes topologiques. On peut normer 
la mesure de Haar sur G et ê, de sorte que les transformations de Fou- 


rier de G à G et de & à G — G soient liées par les relations 


F0 = | f (8) x (e) de, 


Si le groupe G est compact, et la mesure dg est normée de sorte que 
| dg = 1, le groupe G est alors discret, et chacun de ses points possède 


G 
une mesure égale à un. Inversement, si G est discret, et chaque point 


possède une mesure égale à un, alors G est compact et [ dy = 1. 


ce 

Il existe deux sortes de démonstrations de ce théorème. La pre- 
mière consiste à étudier la structure des groupes localement compacts 
commutatifs. Îl se trouve que chaque groupe localement compact 
commutatif s’obticnt par les opérations de somme, de produit, de 
limite projective et inductive à partir des groupes « élémentaires » 
R,Z,Tet Z,. Pour les groupes élémentaires, le théorème se démontre 
directement. On démontre ensuite que les opérations de somme, de 
produit, de limite inductive et projective se transforment en passant 
au groupe dual dans les opérations de produit, de somme, de limite 
projective et inductive respectivement. Pour un exposé détaillé 
voir le livre de L. Pontriaguine [46] ou de A. Weyl [56]. 

Une autre sorte de démonstration se fonde sur la théorie des 
algèbres de Banach. Elle ne nécessite aucune connaissance de la 
structure des groupes, mais ne donne aucune information au sujet 
de cette structure. Une démonstration de ce type fut d’abord propo- 
sée par D. Raikov. Ses variantes sont exposées dans les livres 
[8], [23], [44]. 

Exposons ici les détails les plus importants de cette démonstra- 
tion. Remarquons d’abord que si le groupe G n’est pas discret, alors, 


en vertu du théorème 1 de 10.2, l’ensemble G s'obtient de M (C* (G)), 
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spectre de l’algèbre C* (G), en éliminant le seul point correspondant 
à la représentation dégénérée de C* (G). Pour un groupe discret G, 
l’ensemble G coïncide avec Wt (C* (G)). La transformation de Fou- 
rier sur le groupe G coïncide évidemment avec la transformation de 
Gelfand de la C*-algèbre C* (QG). 

D'après le théorème de Gelfand de 4.3, l’image de C* (G) par 
cette transformation sera C (M (C* (G))). Par conséquent, l’image 
de L1(G, dg) par la transiormation de Fourier est dense dans l’en 
semble C, (G) de toutes les fonctions continues sur G@ tendant vers 0 
à l'infini. 

Considérons maintenant l’ensemble des transformations de 
Fourier des fonctions de L1(G, dg){N\C (G). On peut définir sur 
l’espace de ces fonctions une forme linéaire 


F () = f(e). (3) 
Cette forme est invariante par rapport aux translations de G, puis- 


que la translation de la fonction f par x € G équivaut à la multipli- 
cation de f par %, qui ne change pas la valeur de f (e). Si nous savions 


A 


d’avance que le domaine de définition de F contient l’espace C, (G) 
des fonctions finies continues sur G@, la forme F pourrait s’écrire 
comme suit : 

Fr(p=|ptode vec té), (4) 


A 


G 


où dy est la mesure sur G. De l’invariance de F on déduit que dy 


est une mesure de Haar sur G. Prenant pour f le produit de convolu- 
tion des fonctions j, et f;, nous aurions obtenu de (3) et (4) l'égalité 


Gix #3) (= À (x F5) (0 dx, 


G 


qui (d’après la définition du produit de convolution, de la transfor- 
mation de Fourier et de l’involution) peut être mise sous la forme 


| fi (8) f2(@) de = | À C0 À (0 dx. (5) 


G ê 


Par conséquent, la transformation de Fourier se prolonge à un iso- 
morphisme des espaces hilbertiens L?(G, dg) et L?(G, dy). Ceci 
démontre la dernière des égalités (2) dans l’énoncé du théorème. 

Prenant pour f,, dans l'égalité (5), une suite de type Ô et suppo- 
sant f, continue et f,-sommable, nous obtenons la deuxième des 
égalités (2). 
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Problème 3. Déduire des propriétés obtenues de la transformation 
de Fourier l'énoncé du théorème sur l'isomorphisme des groupes topologiques G 


. ê, nd ication. Démontrer successivement que l'application canonique 
de G dans G est une inclusion, que la topologie de G coïncide avec la topologie 
iuduiet sur G par son inclusion dans 6, que G est dense dans ê et, enfin, que G 
est fermé dans G. 


Malheureusement, il n'existe pas, même aujourd’hui, de démons- 
tration directe du fait que la forme F est définie et continue sur 


Co (G). C’est pour cette raison, que l’on fait généralement appel à 
une démonstration indirecte de l’égalité (4). 


Problème 4. Démontrer quesif, et f, appartiennent à L! (G) N L? (G), 
alors f,*f, est une fonction continue sur G. 


Indication. Vérifier que 
| (F4 * fo) Gt) I < ] fi lzecc) Il fe Îlz2(G)° 


et recourir au fait que les fonctions continues sont denses dans Li (G) AN Z? (G). 
Problème 5. Si @EeC*(G), fE L?(G), alors œxf € L?(G), où 
I we I ) < l ® Ilc+t» l f TRS 
d'ic: cation. Faire appel au résultat du problème 2 de 4.8. 


Soit À (G) l’ensemble des combinaisons linéaires des fonctions 
de la forme f,xf,, f; € L'(G)N L?(G). Alors, d’après les considéra- 
tions ci-dessus, nous avons, pour f € À (G), l’application 


p— (p + f) (e) 


qui est une forme continue sur C* (G). Par conséquent, pour chaque 
f E À (G), il existe une mesure u; sur G, telle que 


CHOICE 20) (6) 
G 


quel que soit @ € L’ (G). 
Problème 6. Démontrer l'égalité 


Jun = hu 
pour tous les f, k € À (G). 
Indication. Utiliser les égalités 


px(fxh) = (pxf}xh = (prh)xf. 
Problème 7. Démontrer qu’il existe une mesure u sur G, telle que 


Mf = ju, 
quel que soit f € À (G). 
Indication. Recourir à l'énoncé du problème 6 et au fait que l’image 
de À (G) dans C, (G), par la transformation de Fourier, est dense. 


13—0361 


194 DEUXIÈME PARTIE. NOTIONS ET MÉTHODES FONDAMENTALES 


Problème 8 Démontrer que la mesure y dans l’énoncé du problème 7 


est une mesure de Haar sur G. 
Indication. Recourir à l'égalité 


[(p-x)# 0-2] (e) = (px) (e). 
Ainsi, nous obtenons la relation 


(@xNte)=T (pxNT du PEC*(G), FEA(G), 
G 
qui remplace (et précise) l'égalité (4) qui nous manquait. 

L'étude de la transformation de Fourier des groupes localement 
compacts commutatifs a fait l’objet de nombreux travaux. Un exposé 
suffisamment détaillé de cette branche de l’analyse harmonique 
figure dans le livre de H. Hewitt et C. Ross [33], dont une traduction 
russe est en voie de préparation. Citons ici quelques faits parmi les 


plus importants. 
Notons avant tout le caractère fonctoriel de l’application G —- 


SC. À chaque morphisme œ:G, — G; correspond le morphisme 
dual @ : G, — G, qui applique #% € G, dans #o. 

T h é éorème 2. Si G) est un sous-groupe fermé d’un groupe 
localement compact commutatif G et G; le groupe quotient correspondant, 


alors G, coincide avec le sous-groupe Gt G formé de tous les caractères 
triviaux sur Go et G, coïncide avec le groupe quotient correspondant. 
Ainsi, à la suite exacte 


RU CT CT 
correspond la suite exacte 
16 or. 
Supposons que les mesures de Haar dg, dgs, dg, sur G, G;, Gi 
soient normées de sorte à avoir la condition dg = dg,-dg:. 


Considérons la forme linéaire F sur C, (G) faisant correspondre à 
chaque fonction f son intégrale sur le sous-groupe G CG 


F(f)= | f (80) dé 


Go 


Il est évident que cette forme est invariante par rapport aux trans- 
lations par éléments de G, et par rapport à la multiplication par les 
caractères du groupe G triviaux sur Go. Nous allons considérer F 


comme une forme de f € C (G). Elle sera alors invariante par rapport 
à la multiplication par les caractères du groupe G correspondant 
aux éléments de G, (c'est-à-dire triviaux sur G, — Gÿ), et par rap- 
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port aux translations par les éléments %, € G. Ceci nous suggère la 
relation suivante. 


Problème 9. Démontrer que F peut s’écrire 


F (ÿ— | F Ou) dus, 


G 


où dy, est la mesure de Haar sur Ê, = G:. correspondant à la mesure dg, sur G.. 
Indication. Appliquer la formule d’inversion à la fonction œ sur G;, 
définie par l'égalité 
g(&Go)= | # (80) dev 
Go 


Corollaire. Si la transformation de Fourier sur R est donnée 
par la formule f (y) = | e*Vf (x) dx, pour chaque à >> 0 nous avons 


l'égalité (formule de Poisson): 


V2r +77 2x 
D 10) DT (SE): 
hEZ REZ 

Parmi les nombreux résultats concernant l’action de la transfor- 
mation de Fourier sur diverses classes de fonctions sur un groupe, 
nous noterons le fait suivant. 

Théorème 3. La restriction de la transformation de Fourier 
sur L1(G)N LP (G), 1 L p <2 se prolonge à un opérateur linéaire 
à la norme < 1, qui applique L? (G) dans L{ (G), où q — —. 

La démonstration de ce théorème et d’autres asser- 
tions analogues est basée sur la très belle idée d’interpolation. A sa- 
voir, on démontre que le logarithme de la norme dans L1 (G) de la 
fonction f, où f E L1(G) fN LP (G) est une fonction convexe de 1/p 
sur le segment 1/2 < 1/p < 1. 

On peut citer bien des résultats appelés à préciser et à généraliser 
le principe suivant: 

les propriétés de différenciabilité et de décroissance rapide à l'infini 
sont appliquées l’une dans l’autre par les transformations de Fourier. 

Pour le cas G — R”, une des formulations exactes est la suivante. 


Posons pour f € Co (R”) 
Mlle. [A+ 12 + A1 Pda, 


r" 


x 02 0? 
ou xl = 2% + .…. zx}, À = 7 0 CE * 7 on 


13% 
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La fermeture de Co (R”) pour la norme ||:|;,, se compose, grosso 
modo, de fonctions qui possèdent 2/ dérivées décroissant à l'infini 


{ rer O0 U 
comme ESS Le complété de Co (R”) pour tout l’ensemble 


des normes ||-|;,, coïncide avec l’espace de Schwartz S (R”). 
Théorème 4. La transformation de Fourier applique l'espace 
de Schwartz en lui-même, de sorte que 


Ale = re 


La démonstration découle immédiatement du fait suivant. 


Problème 10. Supposons que les coordonnées x, ..., zn dans G = 
= R7T'et y, ..., y, dans G Æ R? soient choisies de sorte que 


{, 8) = eiC1V1+...+xnyn) 


Démontrer que les opérateurs de multiplication par x, et de différentiation 


à ; : 2 Ô 
par x, sont envoyés par la transformation de Fourier dans les opérateurs à à. 
UR 


ct dans l’opérateur de multiplication par —iy, respectivement. 


Notons que l’on peut définir, pour chaque groupe localement 
compact, les espaces analogues à C°”, Co et S. Cette définition est 
fondée sur le fait que chaque groupe localement compact est la limite 
projective des groupes de Lie. 

Plus précisément, dans chaque voisinage de l'unité e € G, il 
existe un sous-groupe invariant compact XÀ tel que le groupe quotient 
G/K est un groupe de Lie. Pour les espaces C°” (G) et C5’ (G) on prend 
la limite inductive des espaces C”” (G/K) et C5 (G/K) respectivement. 
Pour plus de détails voir l’article de G. Katz [98] et le tra- 
vail de F. Bruat [69]. La définition de S (G) est plus compliquée. 
Pour les groupes de Lie semi-simples voir [94]. 


12.2. Groupes compacts. Soit G un groupe compact non commu- 
tatif. L'ensemble G est dans ce cas discret. La transformation de 


D! 


Fourier fait correspondre à chaque fonction f sur G la fonction opé- 
ratoire ÿ sur G. Vu que toutes les représentations irréductibles du 
groupe G sont de dimension finie, on peut considérer que } prend au 
point À € G la valeur f (À) € Mat, a, (C), où n (À) est la dimension 
de la représentation 71 de la classe À. Il est naturel de se poser la 
question suivante: quelle sera l’image d’une classe quelconque de 
fonctions sur G (ou d’une variante de son algèbre de groupe) engen- 
drée par la transformation de Fourier? 

Il est plus aisé de répondre à cette question pour le cas de l’espace 
L?(G, dg). 
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Désignons par >? (G) l’ensemble de toutes les fonctions matri- 
cielles sur G possédant les propriétés : 


1) p (À) € Matau) (C) pour tout A€G, 
2) D n() tr [p(A)* PI < 00. 
EG 


Il est évident que L? (G) est un espace hilbertien par rapport au 
produit scalaire 


(pi, P)= À (à) tr [p1 (À) pa (A)*]. 
ne Ô 

Théorème 1. La transformation de Fourier se prolonge à une 
application isométrique de l’espace L? (G, dg) sur l’espace L? (G). 

La démonstration découle immédiatement des relations 
d'orthogonalité pour les éléments matriciaux des représentations 
irréductibles d’un groupe compact (voir 9.2). 

Il n’est pas difficile de décrire également l’image de la C*-algèbre 
du groupe G. Rappelons que, par définition de l’algèbre C* (G) 
l'application f — f (À), pour chaque À € G, se prolonge à une *-repré- 
sentation de C* (G), dont l’image est un anneau matriciel complet 
Mat» (C). D'autre part, l'application de C*(G) qui apparaît 
dans I] Mat,«, (C) est alors une inclusion isométrique de C* (G) 

AE G 
dans la C*-algèbre des fonctions matricielles bornées sur G. 
Théorème 2. L'image de C*(G) dans [|] Mat,a, (C) se 
EG 
compose de toutes les fonctions matricielles bornées @ sur G, qui satis- 
font à la condition suivante: 

il existe une constante c = c (@), telle que, pour chaque & > 0, 

l'inégalité 
Ip —c1l<e 


est satisfaite pour tous les À € G, sauf, peut-être, pour un nombre fini 
de À. 
Autrement dit, l’image de C* (G) est engendrée par la fonction 
e (À) = 1,u, et les fonctions qui tendent vers 0 à l'infini. 
Démonstration. Soit C*(G) l'algèbre des fonctions 
matricielles bornées qui satisfont à la condition du théorème 2. 


Problème 1. Démontrer que C* (G) est une C*-algèbre par rapport 
à la norme 


I 1l= sup |{ p () || 
1€ G 


et aux opérations de somme, de produit et d’involution, définies dans chaque 
point. 
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Vu que l’algèbre C* (G) est engendrée par les fonctions de C (G) 
et par l'unité e adjointe, il suffit de démontrer que les images de 
C (G) et de e sont contenues dans C* (G) et y engendrent un sous- 
ensemble dense. L'image de e sera la fonction € (À) — 1,4,. Elle 
appartient évidemment à C* (G) (il suffit de poser c (e) = 1). L'es- 
pace C (G) est contenu dans L? (G). D'après le théorème 1, l’image f 
de chaque fonction f € L2 (G) est contenue dans L? (G) et satisfait, 
par conséquent, à la condition du théorème 2, si l’on pose c (f) — (, 

Il suffit de vérifier que l’image de C* (G) est dense dans C* (G). 


Problème 2. Soit yà1 le caractère de la représentation 7; de la classe À, 
et À*, la classe de la représentation T*. Démontrer que 
si Æ' A+, 
Xa, (1) = { à +: . 
n (A) tAnag Si pæ=A*, 


Problème 3. L'image de L! (G) dans C* (G@) contient toutes les fonc- 
tions nulles partout sauf dans un ensemble fini de points. 
Indication. Il suffit de considérer le cas d’un point quelconque. 


L'assertion concernant la densité découle manifestement du 
problème 3. Le théorème est démontré. 

Pour d’autres propriétés de la transformation de Fourier liées 
aux espaces L? (G, dg), à l’espace de Schwartz S (G) et autres voir 
le livre de Hewitt et Ross [33], cité dans 12.1. Remarquons seulement 
que la théorie correspondante est bien moins développée que dans 
le cas commutatif. 

Pour les groupes non commutatifs G, l’ensemble G n'est plus 
nécessairement un groupe: l’opération de produit tensoriel n’est 
pas, en général, fermée dans la classe des représentations irréducti- 
bles. Néanmoins, on peut définir dans G une certaine structure supplé- 
mentaire permettant de retrouver ensuite le groupe G donné. 

Soit IT (G) la catégorie de toutes les représentations de dimension 
finie du groupe compact G. En outre des opérations de catégorie 
usuelles, on peut définir dans II (G) le produit tensoriel de deux 
objets quelconques et une involution faisant correspondre à la 
représentation 7 € ObII (G) la représentation conjuguée T*. 

Nous considérerons la catégorie IT (G) avec l'opération de produit 
tensoriel et d’involution, comme l’objet dual au groupe G. Dans le 
cas où Gest commutatif, l’objet dual dans ce sens se retrouve entière- 
ment d’après la structure de groupe dans G. Dans le cas général, 
pour retrouver II (G), il faut se donner outre l’ensemble G l’involu- 
tion t: [7] — [T*] sur G, et pour À, u € G quelconques l’isomor- 
phisme de l’espace 


L(T,) ® L(T)& L (Ti ® Ty) 
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sur une somme directe de la forme 
® Ni, uL (Ts), 


où L (T) désigne l’espace de la représentation 7, et Vi , la multi- 
plicité de la composante irréductible de T7, dans la décomposition 
du produit T, @ Ty. 

Montrons maintenant comment retrouver à partir de l’objet 
dual le groupe donné G. 

Appelons représentation de la catégorie II (G) toute fonction 
non nulle sur Ob II (G), qui prend au point 7 E Ob II (G) des valeurs 
dans End Z (T) et satisfait aux conditions: 


1) Ap(T;) = @ (T2) À, quel que soit A € € (T1, T2), 
2) P (Ti @ Te) = p (Ts) @ p (Ti). 


Problème 4 Démontrer que chaque représentation q de la catégo- 
rie IT (G) possède les propriétés suivantes: 

3) : P (T1 + To) = (T1) E p (To), 

4) p(T*) = (Q (TJ. 

Indication. Pour déduire 3), mettre dans l’égalité 1) au lieu de À 
le projecteur de L (71 + T.) & L (T1) @ L (T;) sur L (T;) parallèle à ZL (T.). 
Pour obtenir 4) recourir à l’isomorphisme ZL (T)* @ L (T) = End Z (T). 


L'ensemble I (II (G)) de toutes les représentations de la catégorie 
IT (G) peut être muni d’une opération de multiplication (@,œ; (7) — 
= Pi (T)-p2 (T)) et d’une topologie (po — p Si Pa (7) + p(T), 
quel que soit 7 E Ob II (G)). 


Problème 5. Démontrer que par rapport aux opérations introduites, 
l’ensemble FT (II (G)) est un groupe topologique compact. 

Indication. Démontrer que l (I (G)) est un sous-groupe fermé du 
groupe compact de toutes les fonctions sur Ob II (G) qui prennent au point 7 une 
valeur dans le groupe des opérateurs unitaires de l’espace Z (T). (Rappelons que 
chaque représentation de dimension finie du groupe G est unitaire.) 


Théorème (Tannaka). Soit G un groupe compact et 
o, une représentation de la catégorie II (G) définie par la formule 


Pe (7) = T (e). 


Alors, l'application g > @, est un isomorphisme des groupes topolo- 
giques G et L' (IT (G)). 

Démonstration. Montrons que si T € Ob (II (G)) et le 
vecteur & € L(T) est invariant par rapport aux opérateurs T (£g), 
g EG, ce vecteur est alors également invariant par rapport à l’opé- 
rateur p (T), p € L' (IT (G)). En effet, soit T, une représentation tri- 
viale de dimension 1 de G. L'opérateur À d’inclusion de Z(T;) 
dans le sous-espace engendré par le vecteur £ € L (T) appartient évi- 
demment à @(T,, T). Par conséquent, la condition 1) (voir la 
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définition des représentations de la catégorie II (G)) entraîne o (T)£— 
= p(T) 4Ëo = A (To) 60 où 60 € L (To): 


roblème 6. Démontrer que @ (To) = 
ndication. Recourir à la condition 2) ‘et à la relation To @ To = 
Æ D. 


Aïnsi, (7) & = AËs = Ë, et notre assertion est démontrée. 

Supposons maintenant que l’image de G dans l' (II (G)) ne coïn- 
cide pas avec tout ce groupe. Cela veut dire que, pour un certain 
T EObIT (G) et un certain @ € l'(IL (G)), l'opérateur œ (T) n’ap- 
partient pas au groupe 7 (G). Il existe alors une fonction continue f 
sur End ZL (T), qui est nulle sur l’ensemble 7 (G) et diffère de O au 
point (7). En considérant une approximation uniforme de cette 
fonction par un polynôme sur l’ensemble compact 7 (G) |) {p(T)} 
et en prenant la moyenne de ce polynôme sur le groupe G, qui agit 
naturellement sur End ZL (T), nous arrivons à la conclusion suivante. 

Il existe un polynôme P sur End L (T) invariant par rapport au 
groupe G et non invariant par rapport au groupe L' (II (G)). 

Soit N le degré du polynôme P et S la représentation du groupe G 
dans l’espace de dimension finie de tous les polynômes de degré 
< N sur End ZL (T). Alors, le vecteur P € L (S) est un contre-exem- 
ple à l’assertion démontrée ci-dessus. 

L'image de G coïncide donc avec (II (G)). Il est, d’autre part, 
évident que l’application de G dans T' (II (G)) est continue. Vu que G 
est un compact, on peut en déduire que G et T' (II (G)) sont homéo- 
morphes. Le théorème est démontré. 

Remarquons que nous aurions pu remplacer, dans la démonstra- 
tion du théorème, la condition de compacité du groupe G par 
l’algébricité du groupe 7 (G) pour un assez grand nombre de repré- 
sentations 71). 

Il est naturel de poser la question suivante: quelles sont les 
catégories apparaissant comme objets duaux au groupe compact G? 

La réponse est donnée par le 

Théorème 2(M.Krein). Soit II une certaine catégorie 
d'espaces vectoriels de dimension finie, munis des opérations de produit 
tensoriel et d'involution. Pour que cette catégorie soit un objet dual à 
un certain groupe compact G, il faut et il suffit que l’on ait les condi- 
lions suivantes : 

1. Il existe exactement un seul (à isomorphisme près) objet L, € II 
possédant la propriété 


L, @ L = L quel que soit LE ObII. 


1) Voir A. Rosenberg, Théorèmes de dualité pour groupes ct 
algèbres de Lic. Uspehi Mat. Nauk, XX VI, 6 (1971), 253-254 (en russe). 
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2. Chaque objet L € Ob IT se décompose en somme d'objets mini- 
maux. 

3. Si Let L, sont deux objets minimaux, alors l’espace Hom (L,, -L,) 
est soit de dimension 1 (si L, et L, sont isomorphes), soit nul. 

Si ces conditions sont satisfaites, alors II = II (G), où G est le 
groupe de toutes les représentations de la catégorie II. 

Nous laissons au lecteur le soin de démontrer le théorème 2 
de même que de véritier l’équivalence de ce théorème au théorème 
classique de dualité de M. Krein, formulé en termes d’algèbre de 
blocs (voir [44], $ 32, numéro 4). 


12.3. Groupes annulaires et dualité pour les groupes finis. Quand 
on compare les dualités de Tannaka-Krein pour les groupes com- 
pacts avec la dualité de Pontriaguine pour les groupes commutatifs 
localement compacts, la différence fondamentale suivante saute 
aux yeux. Alors que l’objet dual par dualité de Pontriaguine au 
groupe localement compact commutatif G est égalementun groupe 
localement compact commutatif, l’objet dual par dualité de Tan- 
naka-Krein au groupe compact G est une certaine catégorie d’espa- 
ces vectoriels (ou une algèbre de blocs). Il est donc naturel de poser 
le problème de définir une notion qui comprendrait, en tant que 
cas particulier, les groupes ainsi que leurs objets duaux et admet- 
trait l'opération de passage à l’objet dual de la même nature. 

Üne telle notion a été effectivement trouvée, et elle a permis de 
construire une théorie de dualité définitive, qui comprend les résul- 
tats de’ Pontriaguine et Tannaka-Krein pour les groupes finis. Les 
généralisations possibles de cette théorie aux groupes infinis seront 
discutées dans 12.4. 

Soit L un espace vectoriel sur le corps À. Nous dirons que L est. 
muni d’une structure de coalgèbre sur Æ si nous avons l’application 
K-linéaire 


m: L—LO@L 
K 


(la comultiplication), pour laquelle on a le diagramme commutatif 
suivant : 


L@L 

4 K m@®l 

L 

\e . 
L@L 
K 


La coalgèbre (L, m) s'appelle commutative, si m (x) appartient à 
S? (L), la partie symétrique du produit L @ L. 
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Problème 1. Soit m*: L* @ L* — L* l'application conjuguée à m. 
K 


Démontrer que (L, m) est une coalgèbre (commutative) sur X, si et seulement 
si L* est une X-algèbre associative (et commutative) par rapport à l’opération 
zey = m* (x © y), x, y € LS. 


L'espace vectoriel Z sur ÆX s'appelle groupe annulaire (autres 
termes : algèbre de Hopf, bigèbre), si cet espace est muni d’une struc- 
ture d’algèbre et de coalgèbre, telle que la comultiplication 
m: À — À © À est un homomorphisme d’algèbres et la multiplica- 
tion définit un homomorphisme de coalgèbres : À @ À — À. 

Exemple 1. Soit G un groupe fini. Dans l'espace C [G] 
définissons la multiplication 


fifa (8) = ji (8) 2 (g) 


et la comultiplication 


m (f) (gas La) = f (&iSo). 


Il est aisé de vérifier que, par rapport à ces opérations, C [G] 
est un groupe annulaire. 

Remarquons que l'algèbre correspondante est commutative, 
tandis que la coalgèbre est commutative si et seulement si le grou- 
pe Gest commu:atif. 

Exemple 2. Dans ce même espace C [G] définissons la multi- 
plication comme produit de convolution : 


firfo(g)= D fa) fa(h te), 
hEG 


et la comultiplication par la formule 


Î £ ne , 
m (f) (g1, >= | | : no 


Il est aisé de vérifier également que ces opérations font de C [G] 
un groupe annulaire. Dans cet exemple la coalgèbre est commuta- 
tive, tandis que la commutativité de l'algèbre est équivalente à la 
commutativité du groupe G. 

On peut montrer que la structure de groupe annulaire définit 
ici une certaine algèbre de blocs dans le sens de M. Krein et qu'elle 
est elle-même déterminée de façon unique par cette algèbre de blocs. 

Soit L un groupe annulaire sur X. On appelle groupe annulaire 
dual à ZL l’espace L* — Hom, (L, K), muni de l'opération de mul- 
tiplication et de comultiplication conjuguée aux opérations de 
comultiplication et de multiplication dans Z. 


Problème 2. Démontrer que les groupes annulaires des exemples 1 et 
2 sont duaux l’un à l’autre. 
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Nous dirons qu'un groupe annulaire correspond à un groupe 
usuel G, s’il s'obtient de G par la construction de l’exemple 1, et 
qu’il est dual au groupe usuel G, s’il s'obtient par la construction de 
l'exemple 2. Il n’est pas difficile d'indiquer un exemple d’un groupe 
annulaire qui n'appartient ni à l’un, ni à l’autre de ces types. Il 
suffit de prendre la somme (dans la catégorie des groupes annulaïi- 
res) de deux groupes annulaires, dont l’un correspond à un groupe 
non commutatii usuel et l’autre est dual à un tel groupe. 

On peut construire des exemples plus intéressants en considérant 
les extensions des groupes annulaires. 


L'étude de ces extensions fut abordée par G. Katz (voir [100], [101]). 
Problème 3. Montrer qu'il existe une extension du groupe annulaire Z, 
correspondant au groupe usuel Z, par un groupe annulaire L, correspondant au 
groupe commutatif usuel Z, + Z,, qui ne correspond à aucun groupe usuel. 


12.4. Autres résultats. Les transformations de Fourier pour les 
groupes plus généraux que les groupes commutatifs ou compacts 
sont encore trop peu étudiées. Un des rares résultats d’ordre général 
est un analogue de la formule de Plancherel pour les groupes locale- 
ment compacts unimodulaires. Pour les groupes de Lie complexes 
semi-simples, ce résultat a été obtenu par N. Naimark (on l'appelle 
« analogue continual du lemme de Shur »). Nous nous bornons à 
formuler ici ce théorème pour le cas de groupes apprivoisés. 


Pour l'énoncé et la démonstration dans le cas général voir les travaux de 
I. Segal [129] et de M. Mautner [117]. 


Théorème 1. Soit G un groupe apprivoisé localement com- 
pact unimodulaire à base dénombrable. 

Il existe une mesure un (que l’on appelle mesure de Plancherel) 
sur l’espace G, telle que 


| 1F(@ Pdg= 


G 


quel que soit f E L1(G, dg) N L?(G, dg). 

La transformation de Fourier se prolonge à une application isomé- 
trique de L? (G, dg) sur l’espace L? (G, u) des fonctions opératoires de 
carré u-intégrables sur G, qui prennent au point à € G des valeurs dans 
l'espace des opérateurs de Hilbert-Schmidt de H\. 

La démonstration peut se déduire du théorème général de la 
décomposition des représentations unitaires des groupes apprivoisés 
(voir 8.4, théorème 3), appliqué à la représentation 7 du groupe 
G X G dans l’espace ZL? (G, dg) par la formule 


LT (g1, 2) f1 (8) = f (8, gg). (1) 


| tr 17) 7 ()*] du (à) 


e 


(epN 
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Pour cela, il faut utiliser des faits suivants. 


Problème 1. Démontrer que, si G est un groupe apprivoisé, chaque 
représentation irréductible du groupe G X G est de la forme 


T (81, 82) — Ti (gr) © To (82); 


où 7, et T, sont des représentations irréductibles du groupe G. 

Indication. Recourir aux propriétés des représentations primaires 
des groupes apprivoisés (voir problème 3 de 8.4). 

Problème 2. Démontrer que la représentation T, donnée par la for- 
mule (1), possède un spectre simple. 

Indication. Démontrer que si À (respectivement B) est une algèbre 
de von Neumann engendrée par les translations à gauche (respectivement à 
droite) dans L? (G, dg) on a alors À = B!. 

Par conséquent, nous avons une décomposition de la forme 


r-| | (Ta X Tu) dv (À, 1. (2) 


G G 


Problème 3. Montrer que la mesure v dans la formule (2) est concen- 


trée sur un sous-ensemble A de l’espace 6 X G composé de représentations de la 
forme Ty X TX. 

Indication. Soit C une algèbre de von Neumann, engendrée par les 
translations à gauche et à droite dans L? (G, dg). Démontrer que le centre Z de 
l’algèbre C coïncide avec 4 f\ B (voir l'indication au problème 2). 

Considérons un automorphisme antilinéaire e de l’espace L? (G, dg) qui 
transforme la fonction f (g) dans la fonction f* (g) = f (g-!). L’assertion du 
problème découle du fait suivant. Pour chaque opérateur z € Z on a l'égalité 
Eez.E — 2*. 

La démonstration de ce fait peut être obtenue par approximation de l’opé- 


rateur z par les opérateurs ZL (p,) — | Pn (8) L (eg) dg, ph € L'(G, dg) et en 


G 
appliquant les deux membres de l'égalité à démontrer à un vecteur de la forme 
Î = ERIET Ji € L1 (G, dg) N L? (G, dg). 


Une autre démonstration de la formule de Plancherel que l’on 
peut trouver dans le livre de Dixmier [15] est basée sur la notion de 
race dans une C*-algèbre. 

Le problème de la description des C“*-algèbres du groupe G 
dans le cas, où ce groupe est non compact et non commutatif, est 
particulièrement intéressant et difficile. Pour certaines classes de 
groupes on peut réaliser l’algèbre C* (G) en forme de sous-algèbre 


de l’algèbre C* (G) de toutes les fonctions opératoires sur G dont les 


valeurs au point À € G sont des opérateurs complètement continus 
dans l’espace FH, correspondant. 


Le cas G — SL (2, C) est entièrement étudié dans l’article de Fell [77]. 
On y trouvera également de nombreux renseignements utiles sur la structure 
des C*-algèbres des fonctions opératoires. 
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Le principe de dualité fondé sur la notion de groupe annulaire est généralisé 
dans les travaux de G. Katz [99]. Néanmoins, l’énoncé définitif est ici beau- 
<oup plus compliqué et moins naturel. Pour un exposé modernisé de ces questions 
voir [134] et [76]. 


L'étude de la topologie de l’espace G fait naître tout un nombre 
de questions aussi bien intéressantes que difficiles. Nous avons 
déjà noté plus haut que pour les groupes localement compacts l’es- 


pace G est semi-séparé, si et seulement si G est un groupe apprivoisé 
(voir la démonstration dans le livre de Dixmier cité plus haut [151). 

La propriété dite R-propriété signifie que la représentation unité 
T, est incluse dans le support de la mesure de Plancherel u sur G. 
Comme nous l'avons noté au 9.1, cette propriété équivaut pour les 
groupes localement compacts à l’amenabilité de G. 


D. Kajdan a récemment découvert une relation intéressante entre les 
propriétés algébriques du groupe G et la structure topologique du voisinage du 
point 70€ G. 

Théorème 2 (D. Kajdan). Si G est un groupe discret dénombra- 


ble et le point To € G est isolé, alors G possède un nombre fini de générateurs et le 
groupe quotient par son commutant est fini. 
La démonstration est basée sur la remarque suivante. 


Problème 4. Si 7, est un point isolé de G et la famille # des repré- 
sentations de G contient faiblement 7,, T, est alors une sous-représentation 
d’unc des représentations S € @. 

Le théorème de Kajdan permet d'obtenir de nouveaux renseignements 
essenticls sur la structure des sous-groupes discrets des groupes de Lie semi- 
simples. Pour un exposé détaillé de ces résultats voir le séminaire Bourbaki [70]. 
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La construction d’une représentation induite joue un rôle très 
important dans la théorie des représentations. Il suffit de dire que 
les représentations des groupes de transformations dans les espaces 
de fonctions, de champs vectoriels et tensoriels, d'opérateurs diffé- 
rentiels, et de beaucoup d’autres objets sont des exemples de repré- 
sentations induites. 

Pour de nombreux groupes, toutes ou presque toutes les représen- 
tations unitaires irréductibles sont monomiales, c’est-à-dire indui- 
tes par une représentation de dimension 1 d’un certain sous-groupe. 

Enfin, l'opération de l’induction elle-même, qui est un foncteur 
de la catégorie des représentations d’un sous-groupe dans la caté- 
gorie des représentations du groupe, est devenue ces dernières années 
l’objet d’une étude détaillée et fructueuse. 


13.1. Représentations induites des groupes finis. Nous commen- 
cerons par étudier les fondements algébriques de la notion de repré- 
sentation induite en nous limitant ici aux représentations de dimen- 
sion finie des groupes finis. 
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Soit À un G-espace homogène à droite. L'espace L (X) des fonc- 
tions sur X est muni de l’action de la représentation T du groupe G: 


[T (8) fl (x) = f (xg). (1) 


Fixons le point x, € À et désignons par Æ7 le sous-groupe stationnaire 
de ce point. À chaque fonction f € L (X) on peut faire correspondre 
la fonction F sur le groupe G: 


F (g) = f (tog). (2) 


Problème 1. Démontrer que la formule (2) définit un isomorphisme 
entre l’espace Z (X) et l’espace ZL (G, H) des fonctions sur G, constantes sur les 
classes d'équivalence à droite par Æ. La représentation T est appliquée par cet 
isomorphisme dans la représentation définie par la formule 


[T (8) FI (g) = F (g18). (3) 


Nous avons ainsi obtenu une sous-représentation de la représen- 
tation régulière à droite de G correspondante au sous-espace inva- 
riant L(G, H). 

Les représentations du type décrit s'appellent parfois quasi 
régulières. La notion de représentation induite s’obtient en géné- 
ralisant cette construction de la manière suivante. 

Soit U la représentation du sous-groupe À dans l’espace de dimen- 
sion finie V. Désignons par L(G, H, U) l'espace des fonctions 
vectorielles F sur G à valeurs dans V qui satisfont à la condition 


F(hg) = U(h)F(8), hREH. (4) 


Problème 2. Démontrer que l’espace ZL (G, H, U) est invariant par 
rapport aux translations à droite par éléments de G et que la formule (3) définit 
une représentation de G dans L (G, H, U). 


La représentation ainsi obtenue s'appelle induite (plus exacte- 
ment représentation du groupe G induite par la représentation U du 
sous-groupe H); on la note Ind (G, Æ, U) ou simplement Ind U, 
s’il est clair de quel groupe et de quel sous-groupe il s’agit. Lorsque 
la forme explicite de U n’est pas connue ou bien est sans importance, 
on dira simplement que la représentation est induite à partir du 
sous-groupe H. 

Si l’on prend pour la représentation induite U la représentation 
triviale U, de dimension 1 du sous-groupe F7, on obtient alors pour 
Ind U une représentation quasi régulière dans l’espace Z(X), 
X — HN G. En particulier, la représentation régulière du groupe 
G peut s’écrire Ind (G, {e}, U,). 

On peut réaliser la représentation induite, de même que la repré- 
sentation quasi-régulière dans l’espace des fonctions (vectorielles) 
sur l’espace homogène X = HG. Pour cela, remarquons que la 
fonction F € L(G, H, U) est entièrement définie si l’on connaît 
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toutes ses valeurs dans un au moins point de chacune des classes 
d'équivalence Hg. Supposons que nous avons choisi un représentant 
dans chacune de ces classes. Autrement dit, nous avons une appli- 
cation s: À — G, telle que pos = 1, où p est la projection naturelle. 
de G sur HXG = X. 


Problème 3. Chaque élément g-€ G s'écrit de façon unique sous la 
forme g = h:s(x)}, où hCH,xEX. 
Indication. Poser x = x,g. 


Faisons correspondre à chaque fonction F € L(G, H, U) la 
fonction vectorielle f sur ZX à valeurs dans V: 


f() = F(s (x). (5) 


Problème 4. Démontrer que l'application (5) est un isomorphisme 
entre Z (G, H, U) et l’espace L (X, V) de toutes les fonctions vectorielles sur X 
à valeurs dans V. La représentation 7 est envoyée par cet isomorphisme dans la 
représentation définie par la formule 


[T (g) 1 (x) = À (g, x) f (ze), (6) 

où la fonction À (£g, x) se définit par les égalités 
À (g, x) = U (h), (7) 
s (x) g = hs (xg). (8) 


Indication. Recourir à la décomposition du problème 3 en l’ap- 
pliquant à l'élément s (2)g€G. 


Par conséquent, les opérateurs d’une représentation induite sont 
la superposition d’une translation et de la multiplication par une 
fonction opératoire. 

On peut montrer que cette propriété est caractéristique des repré- 
sentations induites. 


Problème 5. Démontrer que chaque représentation de la forme (6) 
est équivalente à une représentation induite à partir du sous-groupe XH. 

Indication. Démontrer que la fonction À (£g, x) satisfait à l'équation 
fonctionnelle 


À (g1s %) À (ges Te) — À (g18or ©), (9) 
dont la solution générale est de la forme 
A (8, x) = B (x) "TU (k) B (xe), 


où B est une certaine fonction opératoire sur X à valeurs dans Aut Vethe€H 
se définit par l'égalité (8). 


Remarquons qu’une fonction À vérifiant la condition (9) peut 
être interprétée comme un cocycle de dimension 1 du groupe G à 
coefficients dans Aut V, et le problème 5, comme l'affirmation que 
chaque cocycle est cohomologique à un cocycle de la forme (7). 
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Nous donnerons ci-dessous sous forme de problèmes certaines 
propriétés simples mais fort importantes des représentations induites. 


Problème 6. Démontrer que VU, — UV, entraîne Ind VU, — Ind U.. 
(Par conséquent, l'opération d’induction est bien définie pour les classes d’équi- 
valence des représentations.) 


Indication. Si CES(Ur, U:), l'application F->CF agit de 
L (G, H, mu) dans Z (G, IT, U,) et appartient à G (Ind U,, Ind U,). 
Problème 7. Démontrer l' équivalence 


Corollaire. Si Ind U est irréductible, U l'est aussi. 

Problème 8 (théorème de transitivité de l'induction). Si Æ est un 
sous-groupe de G, et À un sous- groupe de A, alors pour chaque représentation U 
du sous-groupe K. nous avons |’ équivalence 


Ind (G, A4, Ind (4, K, U)) — Ind (G, X, U) 
ou symboliquement 
Ind£ Inde — Ind?, 


où Ind £ K Signifie l'opération de passage de U à Ind (G, Æ, U). (Notons que cette 
Séraion est un foncteur covariant de la catégorie des représentations de H 
dans la catégorie des représentations de G.) 

Indication. Soit V l'espace de la représentation U. Considérer 
l'application de ZL (G, K, V) dans L (G, H, L(H, K, V)) suivant la formule 


ÊTRE, où F(g,h)=fi(hg). 


Problème 9 (formule de Frobenius). Démontrer que le 
caractère d’une représentation induite peut être calculé suivant la formule 


Xind U (8) = > xu (s (x)71 85 (x)), (10) 


où le caractère y de la a U dans le membre droit de l'égalité est 
supposé prolongé, par valeurs nulles, du sous-groupe Æ au groupe tout entier. 
Indication. Recourir aux formules (6)-(8). 


Corollaire. Si H est un sous-groupe invariant de G, le carac- 
tère de chaque représentation induite à partir de H s'’annule en dehors 
de H. 

La relation suivante est d'importance fondamentale pour la majo- 
rité des calculs liés aux représentations induites des groupes finis. 

Théorèmel(dualité de Frobenius). Soient T 
la représentation du groupe G, U la représentation du sous-groupe H. 
A lors 


c(T, Ind U) =c(T |, U). (11) 
(Ici nous avons noté 7 |A la restriction de la représentation 7 au 
sous-groupe À.) 


La démonstration de ce théorème se déduit facilement 
de la formule de Frobenius et de l'égalité 3 de 11.1. 
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Une autre méthode consiste à construire un isomorphisme entre 
les espaces & (T, Ind U) et € (T |x, U). Supposons que la repré- 
sentation 7 agisse dans l’espace W et U dans l’espace V. Alors, à cha- 
que opérateur À € Hom (W, L(G, H, V)) on peut faire correspondre 
l'opérateur B € Hom (W, V) en posant: 


B (w) = [A (w)l (xs), wEW. (12) 


Problème 10. Démontrer que l'application définie par l'égalité (12) 
est un isomorphisme entre & (T, Ind U)  Hom (W, L(G, H, V)) ct 
@ (Tlm U) € Hom (W, V). 


Notons quelques cas particuliers de la dualité de Frobenius lar- 
gement utilisés dans les applications: 

Corollaire 1. Si T est une représentation irréductible de G 
et U une représentation irréductible de H, alors T apparaît dans la 
décomposition de Ind U le même nombre de fois que U dans la décom- 
position de T|\x. | 

Corollaire 2. La composante irréductible de T apparaît 
dans la décomposition de la représentation quasi régulière correspondante 
au sous-groupe H un nombre de fois égal au nombre d'invariants linéai- 
rement indépendants du sous-groupe H dans l'espace W de la représen- 
tation T. 

Exemple. Considérons la représentation 7 du groupe G X G 
dans l’espace L (G) définie par la formule 


[T (81, ge) f1 (8) = (g3"gg2). 


Il est évident que c’est une représentation quasi régulière qui corres- 
pond au sous-groupe diagonal À € G X G composé de tous les cou- 
ples de la forme (g, g). Chaque représentation irréductible de G X G 
cest de la forme 7, X Ta: (gi, ge) —+ Ta (gr) © To (ge), où TLet T, 
sont des représentations irréductibles de G. D'après le corollaire 2 
du théorème 1, la représentation 7, X T, apparaît dans la décom- 
position de 7 un nombre de fois égal au nombre de vecteurs A-inva- 
riants pour la représentation 7, X T,. La restriction de 7, x T, 
à À est, comme on le voit, le produit tensoriel 7, @ T, des repré- 
sentations 7, et 7, du groupe G. 

D'après le problème 5 de 7.1, le nombre cherché est égal à 
c(T;, T5), c'est-à-dire à l'unité, si T, — T5, et à O dans le cas 
contraire. Par conséquent, la représentation 7 possède un spectre 
simple et ses composantes irréductibles sont de la forme 7, X T*, 
où 7, parcourt l’ensemble G. 

La dualité de Frobenius est une propriété caractéristique de la 
représentation induite, qui permet de décrire cette représentation 
en termes de la théorie des catégories. 

Notons II (G, Æ) la catégorie des représentations linéaires de 
dimension finie sur le corps À d’un groupe fini G. 
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Supposons donnés un sous-groupe À € G et sa X-représentation 
U. Considérons le foncteur contravariant F de IT (G, X) dans la 
catégorie des espaces vectoriels sur le corps Æ : 


F(T) = G(T Ir U). 
D'après le théorème 1, ce foncteur peut se mettre sous la forme 
F(T) = G(T, Ind U). 


Par conséquent, le foncteur F est représentatif et la représentation 
induite Ind U est l’objet représentatif de ce foncteur. 

Remarquons que dans le cas de dimension infinie, le foncteur 7 
n’est généralement pas représentatii. Par conséquent, les tentatives 
d'appliquer le théorème de dualité de Frobenius à ce cas nécessitent 
une extension de la catégorie initiale des représentations. Nous dis- 
cuterons cette question en plus de détails par la suite. 

On peut donner une autre définition de la représentation induite 
en termes de la théorie des catégories. À savoir: la représentation 
induite Ind U est un objet universel dans la catégorie suivante. 

Considérons pour une représentation donnée U du sous-groupe } 
dans l’espace V toutes les applications ®: V —- Z, où ZL est l’espace 
de la représentation du groupe G et @ est permutable à l’action du 
sous-groupe H. Ces applications forment une catégorie, si l’on défi- 
nit le morphisme de œ dans @” comme étant un diagramme commuta- 


tif 


où & est une application permutable à l’action du groupe G. 


Problème 11. Démontrer que, dans la catégorie décrite ci-dessus, 
l’objet initial universel sera l'application q, de l’espace V dans l’espace 
L (G, H, U) de la représentation induite Ind U, si ®, est définie par la formule 

U(g)v, si geH, 
(Po (v)) (g) — { 0, si gE (A). 


Indication. Si: V — Lest un objet quelconque de notre catégorie, 
l’application cherchée 
e: L(G, H,U)—+L 
est donnée par la formule 


e(F)— D) Te 1)œ(F() 


HG 


(l'expression dans le membre droit est constante sur les classes d'équivalence 
à droite de G par A). 
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Donnons, enfin, une construction explicite de l’espace de la 
représentation induite, comme module sur l’algèbre de groupe Æ [GI. 
Soit U la représentation du sous-groupe Æ dans l’espace V. Alors V 
est un Æ [H]-module à gauche. Examinons le produit tensoriel 
K [G] @ V, où K [G] est considéré ccmme XÆ [G]-mcdule à gauche 


K[H] 
et À [H]-module à droite. Ce produit sera alors un XÆ [G]-module 
à gauche. 


Problème 12. Démontrer que X [G]-module Æ [G] @ V correspond 
K[A] 


à la représentation induite Ind (G, H, V). 
Indication. Vérifier que l'application p,: V — Æ [G] @ V, définie 
K{[H] 
par l'égalité q, (v) = 1 @ v, est un objet universel, et recourir au problème 
précédent. 


Une autre méthode consiste à établir directement un isomorphisme entre 
KI[G] @ Vet L(G, H, U). Cet isomorphisme fait correspondre à la fonction 
K[H 


K 
FE L(G, H, U) l'élément 
D 61@F(EKIG] Q V. 
HG K[H] 


L'application inverse envoie l’élément 6, @ v de X [G] @ V dans la fonction 
K{H] 


F (6)={ Re \ 818€ H, 
si g18€ 
Les deux dernières définitions de la représentation induite peuvent 
être transformées à l’aide de l’« inversion des flèches », en définition 
de l’objet dual, que l’on appelle représentation co-induite (un autre 
terme: module pro-induit). On peut néanmoins mentrer que, dans 
le cas d’une algèbre X [G] semi-simple, l'opération de co-induction 
coïncide avec l'opération d’induction. 


13.2. Représentations unitaires induites des groupes localement 
compacts. La construction de la représentation induite, décrite dans 
13.1 pour les groupes finis, peut être appliquée aux groupes locale- 
ment compacts sans modilier pour cela plusieurs (mais pas toutes) 
propriétés principales. L'étude détaillée de cette construction étant 
effectuée dans les travaux de G. Mackey, nous appellerons donc les 
représentations induites ainsi obtenues induites dans le sens de 
Mackey. 

Considérons d’abord, comme dans le cas fini, deux réalisations 
de la représentation induite: 1) dans l’espace des fonctions vecto- 
rielles sur tout le groupe G, qui se transforment suivant la représen- 
tation donnée pour les translations à gauche par éléments du sous- 
groupe H; 2) dans l’espace des fonctions vectorielles sur l’espace 
homogène à droite X = HG. Pour les représentations de dimen- 
sion infinie le passage de l’une des réalisations à l’autre est loin 
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d’être aussi évident que dans le cas fini. Néanmoins, du critère d'’in- 
ductibilité, que nous exposerons un peu plus loin on peut déduire 
l’équivalence des deux points de vue. 

Considérons d’abord la première réalisation. Soient G un groupe 
localement compact, À — son sous-groupe fermé et ÜU, une certaine 
représentation (pas nécessairement unitaire) du sous-groupe À dans 
l’espace hilbertien V. Introduisons, comme nous l’avons fait au 13.1, 
l’espace ZL (G, H, U,) des fonctions vectorielles mesurables F sur 
G, à valeurs dans V, qui satisfont à la condition 


F(hg)=Uo(h)F(g), hEH, gec. (1) 


Il est évident que cet espace est invariant par rapport aux transla- 


tions à droite de G. 
Posons la question suivante: quelles conditions faut-il vérifier 


pour pouvoir introduire dans L(G, H, U,) un produit scalaire 
G-invariant de la forme 


(Fu F2) = À (F1(8), F2 (@)v du (@), (2) 
G 


où u est une certaine mesure sur le groupe G? 


Problème 1. Vérifier que pour la mesure u de la forme p (g) d,g, 
la condition de) G-invariance du produit scalaire (2) se réduit à la suivante: 


la valeur | I Us G) ES 200) p (kg) d,h ne dépend pas de g, quel que soit 
Ax (h) 


E € V. 


Nous considérons la représentation U, de la forme particulière 


Do(n)= [RER] 0), (3) 


où Ü est une représentation unitaire de Æ. Alors, la condition 
du problème 4 se transform? dans l’ass2rtion suivante: la valeur 


de | o (hg) d,h ne dépend pas de g. 
H 


Problème 2. Démontrer qu'il existe sur le groupe G une fonction 
continue non négative p, telle que 


NIULLEE &) 
H 


et supp p a une intersection compacte avec chacune des classes d'équivalence Æ£. 
Indication. Pour une solution détaillée voir le traité de Bourbaki 


([7], chapitre VII, $ 2.4). 
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Soit s une application mesurable de X dans G qui possède la 
propriété s(H£g) € H£g,et v, la mesure correspcndante sur X (voir 9.1). 


Problème 3. Soit U, une représentation de la forme (3) et p une fonc- 
tion sur G qui satisfait aux conditions du problème 2; alors, pour chaque fonc. 
tion FE L(G, H, U,) nous avons l'égalité 


| NF (1  G@) dre À IF (IR dv Ce). (5) 
G X 


Indication. Recourir à la formule (6’) de 9.1. 


Corollaire. Le membre gauche de l'égalité (5) ne déperd 
pas du choix de la fonction p et le membre droit du choix de l’appli- 
cation s. 

Donnons maintenant la définition d’une représentation induite. 
Soit U une représentation unitaire de À dans l’espace V. Définissons 
la représentation ÜU,, liée à la représentation U par l'égalité (3) 
et introduisons dans L (G, H, U,) la mesure dont le carré est donré 
par la formule (5). L'espace hilbertien ainsi obtenu sera noté 
L?(G, H, U). La représentation unitaire T, qui agit dans L? (G, H,U) 
suivant la formule 


[T (8) FT (gs) = F (818) (6) 


s'appelle représentation induite à partir de U dans le sens de Mackey ; 
notons-la, de même que dans 13.1, Ind (G, H, U) ou Ind U tout 
simplement. 

Rappelons que pour les groupes topologiques le terme «représen- 
tation » signifie toujours « représentation continue ». Nous laissons 
au lecteur le soin de vérifier que si U était continue, Ind U le sera 
aussi. Pour cela, il vaut mieux utiliser le problème 1 de 7.2 et ie 
fait suivant. 


Problème 4 Démontrer que l’ensemble des fonctions de la forme 


F (8)= | Uo () @ (-1g) du 
H 


est dense dans’ L? (G, H, U), si q est une fonction vectorielle continue sur G 
à support compact. 


Considérons maintenant une autre réalisation de cette représen- 
tation. Fixons une application mesurable s: X — G qui possède 
la propriété s (Hg) € Hg. À chaque fonction F € L?(G, H, U) fai- 
sons correspondre la fonction f (x) = F'(s(x)). Il est évident que F 
se retrouve d’une façon unique à partir de f. 

De l'égalité (5), on peut déduire que l’application F —- f donne 
un isomorphisme de L?(G, H, U) sur, l’espace L?(X, w, V) des 
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fonctions vectorielles sur X, à valeurs dans V, dont la norme pour 
fa mesure v, est de carré sommable. 


_ Problème 5. Démontrer que la représentation induite (6) est transfor- 
mée par l’isomorphisme ci-dessus dans la représentation 


[T (8) fl(x)= A (8, x) f (xe), (7) 
où la fonction opératoire À (g, x) est donnée par l'égalité 
A (8, z)=Uo(h) (8) 
dont l'élément h € H se définit d’après la relation 
s(t)8—hs (xg). (9) 


Indication. Faire appel à la forme explicite de F en termes de f: 
F(hs(x))—Uo(h)f(x), hREH, uex. 


La réalisation obtenue suggère que la construction d’une repré- 
sentation induite peut être généralisée de la manière suivante. Soit 
X un G-espace à droite muni d’une mesure quasi invariante u. Con- 
sidérons la famille des opérateurs T (g), g € G définis par la formu- 
le (7) dans l’espace L? (X, u, V), où V est un espace hilbertien, et 
soit À (g, x) une fonction sur G X X à valeurs dans End Y. 

Pour avoir l'égalité T (8,82) = T (g1) T (g82), il faut et il suïtit 
que l'on ait, pour g, et g, de G quelconques, l'égalité 


À (81, x) À (g2; T1) = À (g1g2; x) (10) 


pour presque tous les x € X par rapport à la mesure u. L'opérateur 
T (g) sera unitaire si, pour chaque g € G, les opérateurs 


du (xg) 1 1/2 
B(8,2=[#%]" 4(@2) 


sont unitaires dans l’espace V pour presque tous les x € À. 


Problème 6. Démontrer que la fonction opératoire B (g, x), de même 
que À (g, x), satisfait à la condition (10). 
Indication. Faire appel à l'identité 


du (xg182) du(xgi) __ du (8189) 
du (xg1) du(x) du(z) 


Il est aisé de voir que la fonction B (g, x) est un cocycle de dimen- 
sion 4 du groupe G à coefficients dans le groupe l des fonctions 
opératoires unitaires mesurables sur X (plus précisément, des classes 
de fonctions coïncidant presque partout pour la mesure li). 


Problème 7. Démontrer que si les cocycles B, et B, sont cohomolo- 
giques, c’est-à-dire 
Bi(g, z)=C (x)! Ba(g, x) C (xg) 
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pour un certain C € T', alors les représentations correspondantes T, et 7, sont 
unitairement équivalentes. 

Indication. L'équivalence cherchée est réalisée par l'opérateur 
unitaire C dans L?(X, u, V), qui agit suivant la formule 


(CF) (X)= C (x) f (x). 


Ainsi, nous en sommes venus à la question de la structure des 
cohomologies H1(G, T'). 

Si l’action du groupe G sur X satisfait aux conditions du théo- 
rème de Glimm (voir 9.1), alors l’étude des cohomologies H1(G, T) 
peut être réduite à un problème analogue dans le cas où À = HAXG 
est un espace homogène. 

I1 se trouve que sur l’espace homogène X = AG chaque cocycle 
est cohomologique à un cocycle de forme particulière, donnée par 
les formules (8) et (9) et, par conséquent, se définit par la représen- 
tation unitaire du sous-groupe A. Cette assertion est essentiellement 
équivalente à la suivante: chaque représentation de la forme (7) 
sur l’espace homogène X = H\G est induite dans le sens de Mackey 
à partir du sous-groupe A. Cette dernière assertion découle du critère 
d’inductibilité cité plus loin (voir p. 216). 

Si la mesure u sur X est ergodique par rapport à G (voir 9.1), 
mais n’est concentrée sur aucune orbite de ce groupe dans X, 
alors les classes de cohomologie H1(G, l') peuvent être interprétées 
comme classes des représentations unitaires d’un sous-groupe dit 
« virtuel » du groupe G. 


L'étude des sous-groupes virtuels fut commencée par G. Mackey (voir son 
article de revue {115]). Il est intéressant de noter que les sous-groupes virtuels 
d’un groupe commutatif peuvent posséder des représentations irréductibles 
de dimension >1. Voir à ce sujet l’article de l’auteur « Systèmes dynamiques, 
facteurs et représentations des groupes», Uspehi Mat. Naouk, v. 22, n° 5 (1967), 
67-80 (en russe). D'autres résultats sont exposés dans l’article de R. Izma- 
guilov [95]. 


Citons quelques propriétés de l'opération d’induction dans le 
sens de Mackey. De même que dans le cas fini, on vérifie que cette 
opération appliquée aux classes de représentations équivalentes 
ne modifie pas la décomposition en sommes (y compris en sommes 
continues) et satisfait au principe de la transitivité de l'induction 
(voir problèmes GC-8 de 13.1). 

La dualité de Frobenius, sous la forme énoncée au corollaire 1 
du théorème 1 dans 13.1, reste vraie pour les groupes compacts 
mais, en général, ne l’est plus pour les groupes localement compacts. 
Nous revenons à l'étude plus détaillée de cette question dans 13.5. 

Dans de nombreux cas, il importe de savoir sous quelles conditions 
la représentation donnée T du groupe G est induite, dans le sens de 
Mackey à partir d’un sous-groupe fermé H. Pour pouvoir énoncer 
le critère d’inductibilité, nous introduirons la notion de « repré- 
sentation d’un G-espace ». Par définition, on appelle représentation 
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unitaire d’un G-espace à droite X dans un espace hilbertien ZL, le 
couple (T, P), où T est une représentation unitaire du groupe G 
dans Z, et P la +-représentation de l’algèbre C, (X) des fonctions 
continues finies sur X (avec la multiplication usuelle et la conjugai- 
son complexe dans le rôle d’involution), si T et P sont liées par la 
relation 


T'() P(PT(g1)=P(R(8)pf), (11) 


LR (g) F1 (x) = f (x). (12) 


Théorème 1 (critère d’'inductibilité). Pour 
qu'une représentation unitaire T du groupe G soit induite dans le sens 
de Mackey à partir d’un sous-groupe fermé H & G, il faut et il suffit 
qu'elle se prolonge à une représentation unitaire de l’espace homogène 
X =HXG. 

Avant de démontrer le théorème, énonçons encore deux formu- 
lations équivalentes. 

1. La représentation P de l’algèbre C, (X) peut être remplacée 
par la mesure À dite projetante qui fait correspondre à chaque sous- 
ensemble borélien £ € X le projecteur orthogonal A (E) et possède 
les propriétés 


A 


ou 


A(E1 NE) = A (E1) A (E3), 
A(Ù ED D A(E), où EN E;=@ pour i# j, 


P(h=\f(@)A(r) pour fECo(X). 
x 
La condition (11), en termes de la mesure À, signifie que 


T (g) A (E)T (8) = A (Eg). (13) 


Une telle mesure projetante s'appelle système d’imprimitivité 
par rapport à 7. Ainsi, le critère d’inductivité de la représentation T 
du sous-groupe H est l'existence d'un système d'imprimitivité sur 
X= H\X G par rapport à T. C’est sous cette forme que ce critère 
fut d’abord obtenu par G. Mackey. 

2. Au lieu de la représentation unitaire (7, P) du G-espace X, 
on peut considérer la +-représentation ® d’une certaine algèbre 
auxiliaire À (analogue de l’algèbre de groupe). Cette algèbre se 
construit de la manière suivante : 

Soit Co(X X G) l’espace vectoriel topologique des fonctions 
continues finies & (x, g), «€ À, gEG. (La convergence dans cet 
espace signifie convergence uniforme, avec la condition supplémen- 
taire que les supports de toutes les fonctions considérées sont conte- 
nus dans un seul compact KÀ € X X G.) 


$ 13. REPRÉSENTATIONS INDUITES 21 7 


Problème 8. Il existe une application continue linéaire unique Ÿ: 
Co (X X G) —+ End V qui sur les fonctions de la forme «& (x, g) — u (x) v (g) 
est définic par la formule 


D (œ)—P (u) T (v), 
où (= | » (9 T (9 à 
G 
Indication. L'application cherchée peut être définie par la formule 


D (a)= | P (a) (+ 8) T (pre, (14) 
G 
où @ (+, g) désigne l'élément de C, (X) qui s'obtient de « € Co (X X G) en 


fixant le deuxième argument. 
Problème 9. Définir dans C,(X X G) une multiplication et une 


involution de sorte que l’application a > ® (a) soit une +-représentation de 
l’algèbre à involution obtenue. 


Réponse: (œ*a) (x, 8) = | où (e, er) à (2e, B0) de 
G 
a (x, g)— a (xg, g71) AG (g)"{. (15} 


Désignons par À l’algèbre ainsi obtenue. 

Nous dirons que la +-représentation ® de l’algèbre X dans l’es- 
pace L est accordée avec la représentation T du groupe G dans le 
même espace, si nous avons la relation 


T (g1) D (PT (ge) = (Ÿ, (16) 


où f(x, 8) = f (xg1, 81 882") Ac (81). 

Il est clair que si la représentation 7 est induite dans le sens de 
Mackey du sous-groupe 7, alors la représentation ® de l’algèbre Y, 
définie par la formule (14), est accordée avec T. 


Problème 10. Démontrer que chaque +-représentation ® de l'algèbre 
A, accordée avec T, est de la forme (14), où P est une certaine représentation 
de l'algèbre C, (X), qui constitue avec T une représentation du G-espace X. 

Indication. Faire appel à la méthode indiquée au 10.2 pour retrouver 
la représentation du groupe à partir de la représentation de l’algèbre de groupe. 


Ainsi, le critère d’inductibilité de la représentation T du groupe G 
est l'existence d'une +-représentation ® de l'algèbre À, accordée avec T. 

Passons à la démonstration du théorème 1. 

La condition de nécessité du théorème est tout à fait évidente. 
En effet, si la représentation T = Ind U est réalisée sous la forme (7), 
alors, en faisant correspondre à chaque fonction f € C, (X) l’opéra- 
teur de multiplication par cette fonction dans l’espace L? (X, v.,, V), 
nous obtenons la représentation cherchée P de l'algèbre C, (X). 

La démonstration de la suffisance est plus compliquée. Nous 
indiquerons d’abord une méthode pour retrouver la représentation U 
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à partir de la représentation induite 7? — Ind U. Nous verrons ensui- 
te que cette méthode, étant applicable à une représentation quelconque 
T qui satisfait à la condition du théorème 1, nous donne une certaine 
représentation ÜU du sous-groupe H. Enfin, nous vérifierons que U 
est unitaire et 7 est équivalente à Ind U, ce qui terminera la démons- 
tration. 

Ainsi, supposons que 7' satisfasse à la condition du théorème 1. 
Construisons, de la manière décrite ci-dessus, la représentation ® de 
l'algèbre auxiliaire AZ C, (X° X G). Cette représentation sera la 
somme des sous-représentations cycliques. Vu que le foncteur Ind 
est permutable aux opérations de somme, il suffit de vérifier le 
théorème pour chaque terme. Supposons donc que ® soit une repré- 
sentation cyclique agissant dans l’espace Z, et Ë sa source. Supposons 
que T = Ind U ; alors L = L?(G, H, U) et le vecteur EE L est 
une fonction vectorielle sur G à valeurs dans l’espace V de la repré- 
sentation U. Considérons une fonction finie quelconque $ sur G X G. 


L'intégrale B (Ag:, £2) d,h ne dépend que de g, et de la classe 


À 
d'équivalence Hg,. Posons 
a (Hg: 2) = | B (gs, 8) dr. 
H 
Alors & € C, (X X G). Calculons la valeur de (D (œ) &, £). En se 
servant des formules (5), (6) et (14), nous obtenons 


@(o)E, 5= | (D (EI (a), E(e)) 0 (en) de = 


G 


| | o (Hgs, g2) (E (g182), E (g2))v p (e2) deg dre = 
G G 


= | | P (hg1, ge) (6 (g182), Ë (g1))v p (81) drh drgi drgs. 
H G G 
En substituant g, > h-!g, et en se servant des relations (1), 


(3), (4) et de la formule (4) de 9.1, on peut écrire l'intégrale obtenue 
sous la forme 


À À Be, 82) E (e182), E(e)}v dre dre. 
Prenons pour $ une fonction de la forme 
(81, 82) = O1 (g182) 02 (81) Ac (81) : 


alors notre intégrale pourra s’écrire (Ô,, ô.)y, où 8 est l'élément de V 
donné par la formule 


6— (o(aE(e) deg. 
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Problème 11. Démontrer que les vecteurs de la forme 8, où 8 = C, (G), 
sont partout denses dans V. 

Indication. Faire appel au fait que & est la source dans Z. 

Problème 12. Démontrer la relation 


(Z (h) 8)" =[Arr (h) Ag (h)]!/2U (h) 6, 


où [ZL (k) O0] (g) = 8 (k-!g). 
Indication. Recourir aux formules (1) et (3). 


Les résultats des problèmes 11 et 12 permettent de retrouver la 
représentation U (à équivalence près), d’après la représentation ®. 
A savoir, l’espace V est le complété de C, (G) pour la norme engendrée 
par le produit scalaire 


(O1, 0) —(D(a)E, €), (17) 


a (Hg1, 82) = À 0, (hg1) O1 (hgige) Ac (Rgs) drh. 
H 


La représentation U agit dans cet espace suivant la formule 


[U (h) 8] (8) = Au (h) 7" Aa (h) "6 (ht). (18) 


Soit maintenant 7 la représentation du groupe G qui satisfait 
à la condition du théorème, ® étant la +-représentation correspondante 
de l’algèbre À dans l’espace L. Définissons dans C, (G) un produit 
scalaire par la formule (17) et la représentation U du sous-groupe A 
par la formule (18). 


Problème 13. Démontrer que le produit scalaire (17) est invariant par 
rapport aux opérateurs U (h), k € H, donnés par la formule (18). 
Indication. Faire une substitution de variables dans l'intégrale 


correspondante. 


Il est plus difficile de démontrer que le produit scalaire (17) 
est positif. Pour le faire, montrons que la représentation donnée 7 
est équivalente à la représentation Ind U. (Nous nous permettons 
ici un certain abus de notation, en désignant par Ind U la représen- 
tation obtenue par induction dans le sens de Mackey à partir de la 
représentation U, sans encore savoir si elle est unitaire ou non.) 

L'espace M de la représentation Ind U est composé de fonctions 
vectorielles F sur le groupe & à valeurs dans C, (G), c’est-à-dire de 
fonctions sur G X G. Ces fonctions satisfont à la condition 


F(hg1, ge) = AG (h) F (g1, kg). (19). 
Définissons dans M un produit scalaire par l'égalité 


(Fi F)= | (Fig, +), F2 (8 -)Jcoto P (8) dre: (20) 
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Les formules (19) et (20) sont évidemment des cas particuliers des 
formules générales (1) et (5) qui définissent l’espace et les opérateurs. 
de la représentation induite. 

Soit Z, un sous-ensemble dense de ZL composé de vecteurs de la 
forme D(a)Ë, a E Co (X X G). Définissons l’application 7 de l’espace 
L, dans M, en posant que + envoie le vecteur D (a) & dans la fonction 


F(g g)=a (Hg, 8"82) Ac (gi)! (21) 


Problème 14. Démontrer que l’application +, définic par l'égalité (21), 
est isométrique et permutable à l’action du groupe G. 

Indication. Recourir aux formules (16) et (17). 

Problème 15. Démontrer que le produit scalaire (17) est positif. 

Indication. Faire appel aux résultats des problèmes 11 et 14. 


La démonstration du théorème est terminée. 

13.3 Représentation des extensions de groupes. Nous montre- 
rons ici qu'à l’aide du critère d’inductibilité (voir 13.2), on peut 
obtenir des renseignements importants sur les représentations irré- 
ductibles unitaires des extensions de groupe. 

Soit G un groupe localement compact possédant un sous-groupe 
invariant A. 

Le groupe G agit sur NW, et, par conséquent, sur l’espace dual W. 
Supposerons, pour fixer les idées, que À soit un G-espace à droite sur 
lequel G agit de la manière suivante: 

sint+> U (n)est une représentation de la classe À € Ÿ, alors la 
représentation de la classe Àg est de la forme n +-> U (gng”!). 

Supposons que À soit un groupe apprivoisé. Alcrs, chaque 
représentation unitaire 7 du groupe G se prolonge à une représen- 
tation du G-espace À. 

En effet, la restriction de la représentation T à N peut s'écrire 
sous forme de somme continue : 


Tln= | Wadn (à), (1) 


N 


où W, est une représentation primaire de la forme U;, @ S;, U; 
appartient à la classe À et s, est une représentation triviale de dimen- 
sion A (À) (voir théorème 3 de 8.4). Soit 


L= | Li du (1) (2) 


N 


la décomposition correspondante de l’espace L de la représentation TT. 
Nous ferons correspondre à chaque fonction mesurable bornée f 


sur V l'opérateur diagonal correspondant P (f): 


(P (8) () = FE (Q). (3) 
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Remarquons que cette définition est correcte (c’est-à-dire que 
l'opérateur P (f) ne dépend pas du choix des décompositions (1) et 
(2)) comme on le voit du théorème 3, de 8.4. 


Problème 1. Démontrer que (T, P) est une représentation du G-espa- 


ce Ÿ, c'est-à-dire que l’on a la condition (11) de 13.2. 
Indication. Démontrer la relation ci-dessus d’abord dans le cas 


où f est la fonction caractéristique d’un certain sous-ensemble mesurable S & NW. 
Problème 2. Démontrer que la mesure u est quasi invariante par 
rapport à G. 
Indication. Faire appel à l’unicité dans le théorème 3 de 8.4, et au 
fait que les représentations T |, et T (g) T INT (g)-! sont unitairement équiva- 


lentes. 

Problème 3. Démontrer que si la représentation 7 est irréductible, 
la mesure L est alors G-ergodique. 

Indication. Si S est un sous-ensemble mesurable G-invariant de NW, 
sa fonction caractéristique xs correspond à un opérateur de projection P (ys) 
permutable à la représentation T. Par conséquent, P (xs) est égal à 0 ou à 1, 
et donc, Ys = 0 ou xs = 1 presque partout, 


Si, en plus, l’action de G sur satisfait aux conditions du théo- 
rème de Glimm de 9.1, la mesure Lu est concentrée sur une seule des 


G-orbites de NW. 

Soit X cette orbite. 

Les opérateurs P (f) de (3) ne dépendent que de la restriction de f 
sur X. Nous avons ainsi obtenu une représentation du G-espace homo- 
gène X. D'après le critère d’inductibilité de 13.2, la représentation 
T est induite du sous-groupe A, stabilisateur d’un certain point 
x € À. 

Voyons maintenant ce que l’on peut dire de la représentation 
U. Elle doit être irréductible, sinon 7 serait aussi réductible. 

D'autre part, le sous-groupe Æ contient un sous-groupe inva- 
riant ÂV: les représentations nr U,(n) n—U,(ninni!) sont 
évidemment équivalentes si nr, € N. 


Problème 4. Montrer que la restriction de la représentation induite 
U à N est un multiple de U.. 

Indication. Recourir à la méthode utilisée pour retrouver U 
à partir de Ind U dans la démonstration du théorème 1 de 13.2 et à la réalisa- 
tion (1) de la restriction de T à N. 


La méthode décrite ici réduit le problème de la classification des 
représentations unitaires irréductibles du groupe G à la description 
des représentations irréductibles d’un groupe Æ plus petit, dont les 
restrictions à V sont des multiples d’une représentation irréductible 
donnée de ce sous-groupe invariant. Ce dernier problème, comme 
nous le verrons plus loin ($ 14), équivaut à classifier les représen- 
tations projectives du groupe quotient H/N. Ces considérations 
prennent une forme particulièrement simple lorsque le sous-groupe 
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invariant V est commutatif. Dans ce cas, l’espace NW est le groupe 
dual à NV par dualité de Pontriaguine. 

Nous obtenons ainsi le résultat suivant. 

Théorème 1(G. Macke y). Si N'est un sous-groupe inva- 
riant fermé commutatif dans un groupe localement compact G et l’action 


du groupe G sur N satisfait aux conditions du théorème de Glimm de 9.1, 
alors chaque représentation irréductible T du groupe G est de la forme 
Ind (G, H, U), où H est le groupe stationnaire d'un certain point 


x € N, et la restriction de U à N'est une représentation scalaire, multiple 
du caractère Y. 

Pour illustrer l'application du théorème 1 démontrons le fait 
suivant. 

Théorème 2. Si Gest un groupe fini nilpotent ou un groupe 
de Lie nilpotent connexe, alors chaque représentation unitaire irré- 
ductible T du groupe G est monomiale, c’est-à-dire induite par la repré- 
sentation de dimension 1 d’un certain sous-groupe. 

La démonstration découle du lemme suivant: 

Lemme. Si la représentation T n'est pas de dimension 1, alors 
elle est induite à partir d’un certain sous-groupe propre du même type. 

L’assertion du théorème découle du lemme, vu que chaque suite 
strictement décroissante de groupes finis ou de groupes de Lie conne- 
xes nilpotents ne contient qu’un nombre fini de termes. (Dans le 
deuxième cas, ceci découle du fait analogue pour les algèbres de Lie.} 

Démontrons le lemme. Notons avant tout que la représentation T 
peut être supposée exacte, dans le cas d’un groupe fini, et localement 
exacte (c'est-à-dire à noyau discret), dans le cas d’un groupe de Lie. 
Dans le cas contraire, la représentation T aurait engendré la repré- 
sentation du groupe quotient G/N, où N est le noyau de T. Ce groupe 
quotient est d'ordre plus petit si G est fini, et de dimension plus 
petite si G est un groupe de Lie. Par conséquent, nous aurions pu 
faire une récurrence sur l’ordre du groupe ou sur sa dimension. Sup- 
posons donc que 7 soit une représentation exacte (respectivement loca- 
lement exacte) d'un groupe fini (respectivement d’un groupe de Lie). 


Problème 5. Démontrer que le centre Z du groupe G est un groupe 
cyclique (respectivement un groupe de dimension {). 

Indication. Le centre de G est envoyé par la représentation irré- 
ductible T dans le sous-groupe des opérateurs scalaires. 


Soit À le centre du groupe quotient G/Z et N l’image réciproque 
de N par la projection G— G/Z. 
Alors N est un sous-groupe invariant commutatif de G. 


Problème 6. Démontrer que si G est un groupe connexe linéaire 
nilpotent qui agit dans l’espace V, alors le sous-groupe stationnaire d’un vecteur 
quelconque & € V est connexe. 
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Indication. Faire appel au fait que le groupe G est exponentiel 
(voir 6.4). Déduire du théorème d’Engel (voir 6.2) que pour chaque X de l’al- 
gèbre de Lie du groupe G l'équation exp 4X6 = Ë est satisfaite identiquement 
pour t, ou bien ne possède qu’un nombre fini de racines. 


Le fait que l’action de G sur L satisfait aux conditions du théorème 
de Glimm est trivial dans le cas fini et se vérifie aisément dans le 
cas d’un groupe de Lie. Nous ne nous attardons pas ici là-dessus, vu 


que l'action de G sur Ÿ sera discutée en détail au $ 45. 

Pour achever la démonstration du lemme, il suffit d’appliquer 
le théorème 1 au groupe G et au sous-groupe invariant NV et de remar- 
quer que la G-orbite correspondante dans V ne peut se réduire à 
un seul point. En effet, sinon la restriction de 7 à N serait scalaire, 
ce qui, vu l’exactitude (respectivement l’exactitude locale) de T im- 
pliquerait l'inclusion NV € Z. Le lemme est démontré. 

Les groupes dont toutes les représentations irréductibles sont 
monomiales s'appellent monomiaux ou M-groupes. Nous avons donc 
démontré que tous les groupes finis nilpotents et tous les groupes de Lie 
nilpotents connexes sont monomiaux. 


Problème 7. Tous les M-groupes finis sont résolubles, 

Indication. Soit G un M-groupe non résoluble d'ordre minimal. 
Démontrer que tous ses groupes quotients sont résolubles. Soit S l'intersection 
des noyaux de tous les homomorphismes de G dans des groupes résolubles. 
Démontrer que S est contenu dans tout sous-groupe invariant de G et que 
[S, S] = S. Soit 7 une représentation unitaire irréductible de G de dimension 
minimale, non triviale sur S. Supposons que T = Ind (G, H, %), où x est un 
caractère du sous-groupe Æ. Soït y, le caractère unité. Démontrer que T, — 
— Ind (G, Æ, %) est trivial sur $. En déduire que S & H. Ensuite, de la 
relation [S, S] = S déduire que x | s= 1 et donc que 7 est trivial sur S. La 
contradiction obtenue démontre qu'il n’existe pas de M-groupes non résolubles. 


Un résultat analogue a lieu pour les groupes de Lie : chaque groupe 
de Lie monomial connexe est résoluble. 


Pour le lecteur désirant s'exercer à l'application du théorème 1 le problème 
suivant peut être utile. 

Problème 8. Décrire toutes les représentations unitaires irréductibles 
du groupe G des transformations affines de la droite (c'est-à-dire de l’espace 
vectoriel de dimension 1) sur le corps topologique X, à condition que le groupe 
additif de ce dernier soit autodual par Pontriaguine. 

Réponse. Une série de représentations de dimension 1, correspondant 
aux caractères du groupe multiplicatif X* du corps X, et une représentation de 
dimension infinie qui agit dans l’espace L? (K*, d*x) suivant da formule 


[T (a, b) f(x) = % (62) f(ax). 
Ici d*x désigne la mesure de Haar sur K*, a et b sont les paramètres du 


groupe G qui correspondent à la définition de la transformation affine par la 
formule x > ax + b, et y est un caractère additif non trivial du corps X. 
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13.4. Représentations induites des groupes de Lie et leurs géné- 
ralisations. Chaque groupe de Lie est localement compact, et, par 
conséquent, les résultats de 13.2 et de 13.3 sont applicables à ces 
groupes. D'autre part, la construction d’une représentation induite 
pour les groupes de Lie admet des généralisations intéressantes et 
importantes, lors du « passage dans le domaine complexe ». 

Avant de passer à ces généralisations, montrons que l’espace de la 
représentation 7 du groupe de Lie G induite du sous-groupe fermé 4 
peut être considéré comme espace des sections d’un certain fibré 
vectoriel sur la variété différentiable Æ X G. 

(Une telle liaison entre les représentations induites et les fibrés 
n'est pas un privilège des groupes de Lie. En généralisant d’une 
manière appropriée la notion de fibré on peut l’établir pour des 
groupes quelconques.) 


Problème 1. Soient G un groupe de Lie, H son sous-groupe fermé 
et x un point de l’espace homogène X = H\G. Démontrer que dans un certain 
voisinage W du point x on peut définir une application différentiable s: W — G 
qui possède la propriété xs (y) — y pour tous les y € W. 

Indication. Soit g l'algèbre de Lie du groupe G, ÿ la sous-algèbre 
qui correspond au sous-groupe H, et p le sous-espace de G, qui correspond à 5. 
Démontrer que l’application t: p — X, définie par la formule 


t(P)=zx.expP, 


possède une application dérivée non dégénérée au point P — 0. Par conséquent, 
dans un certain voisinage du point x, il existe une application inverse différen- 
tiable t-! que l’on peut prendre pour l'application s cherchée. 


Considérons le recouvrement de la variété X par les voisinages 
W;, où il existe des applications s,: W; — G qui satisfont à la con- 
dition du problème. Sur l'intersection W; N W'; est définie l’appli- 
cation y —+s; (y) s; (y)"! à valeur dans le groupe /Æ. Notons cette 
application s;;. Si U est une représentation de dimension finie de H 
dans l’espace V, alors le recouvrement {W;} avec la famille des fonc- 


tions y —UÙ (s;; (y)) définit un fibré vectoriel sur X noté Ey. 


Problème 2. Démontrer que la classe d'équivalence du fibré £y 
ne dépend que de la classe d'équivalence de la représentation U et, en particu- 
lier, ne dépend pas du choix initial des applications s;: W;, — G 

Indication. Utiliser le problème 2 dans 5.4. 


Le fibré E£y peut également être obtenu d’une autre manière. 

À savoir, appliquons la construction du « produit sur un groupe », 

défini au 2.1, et posons Eu — G X V. (Le groupe Æ agit sur G par 
H 


translations à gauche et sur V conformément à la représentation U.) 


Problème 3. Démontrer que £;, est un fibré vectoriel sur À —H\6G, 
équivalent au fibré Ey. 
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Indication. Considérer l'application de W; X V dans G X V, donnée 


par la formule (y, v) — (s; (y), v), et l'application quotient correspondante 
de W; X V dans G X Y. 
H 


Cette méthode de construction du fibré £,; permet d'y définir 
l’action du groupe G. En effet, le groupe G est un G-espace à droite, 
et l’action de G à droite permute à l’action du groupe H à gauche. 
Par conséquent, l’ensemble £7y = G X V est un G-espace à droite. 

H 


Problème 4. Démontrer que l’action de G sur £;,; est permutable à la 
projection sur la base et linéaire sur les fibres. 


Un fibré avec une telle action du groupe G s’appellera G-fibration. 
Il est clair que dans l’espace ['(Æ) des sections d’une G-fibration E 
sur À apparaît une représentation linéaire 7 du groupe G: 


[T (g)s](x)=s(xg), xEX, gE€G, sET(E). (1) 


Problème 5. Démontrer que chaque G-fibration sur une variété 
homogène X — H\G est équivalente à un fibré de la forme Ey. 


Indication. Soit x, un point de X pour lequel X est le stabilisateur. 


Pour U on peut prendre la représentation V dans la fibre sur x,, obtenue à par- 
tir de (1) 


Soit C” (G, H, U) l’espace de toutes les fonctions différentiables 
sur G à valeurs dans V, qui satisfont à la condition 


F(hg)=U (h)F (g), hEH, gEG. (2) 


Il est évident que cet espace est invariant par rapport aux transla- 


tions à droite par G et, par conséquent, il est muni d’une représen- 
tation TZ du groupe G: 


(T (8) F) (g1) = F (818). (3) 


Problème 6. Démontrer que la représentation (3) dans Cæ (G, H, U) 


est équivalente à la représentation (1) dans l’espace T (£;;) des sections diffé- 
rentiables du fibré £Ey. 


Indication. Soit s une section du fibré Ey. Faisons correspondre 
à cette action une fonction f, sur G, qui prend au point g € G une valeur v € V 
telle que la classe d'équivalence du couple (g, v) coïncide avec la valeur de la 
section s au point Hg € HG. Démontrer que l'application ainsi construite 
s + f, définit l’isomorphisme cherché de T (£,,;) sur Cæ (G, H, U). 


Ainsi, l’espace de la représentation induite du sous-groupe H est 
l’espace hilbertien que l’on obtient de l’espace des sections diffé- 
rentiables d’un certain fibré vectoriel sur la variété X = H / G.en 
y introduisant un produit scalaire G-invariant. 


Problème 7. Si la représentation U est de dimension finie, et X est 
compact, alors l’espace de Gürding de la représentation T = Ind (G, H, U) 


15—0361 
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coïncide avec l’espace T (Ey,) (voir la définition de U, dans 13.2, formule (3)). 
Indication. Lefait queT (Ey,) est contenu dans l’espace de Gôrding 


de la représentation T, se déduit aisément du problème 2 de 10,5. Pour démontrer 
l'inclusion inverse, recourir au fait que l’algèbre enveloppante U (a) agit dans 
l’espace de Gôrding de la représentation 7, et aussi du fait que la fonction géné- 
ralisée sur la variété X, dont toutes les dérivées appartiennent à l’espace L? (X), 
est une fonction infiniment différentiable usuelle. Remarquons que cette partie 
de l’assertion du problème est vraie sans l'hypothèse de compacité de H\XG. 


Si le sous-groupe À est connexe, alors l’espace l (£5), isomorphe 
à C” (G, H, U), peut également se définir comme l’espace des solu- 
tions d’un certain système d'équations différentielles sur le grou- 
pe G. 
En effet, soit S une représentation de Æ dans l’espace C°” (G, V), 
donnée par l'égalité 
LS (2) f1 (8) = U (h) f (kg). (4) 


Il est clair que C” (G, H, U) coïncide avec l’ensemble des éléments 
invariants de la représentation $S. Soit S, la représentation corres- 
pondante de l’algèbre de Lie ÿ du groupe K. 


Problème 8. Démontrer que l’espace C® (G, I], U) coïncide avec 
l’espace des solutions du système d'équations 


Sx(X)f—=0, XEY (5) 


dans C® (G, V). 
Indication. Le groupe connexe H est engendré par un voisinage quel- 


conque de l'unité, y compris par celui qui est recouvert par l’application cexpo- 
nentielle (voir 6.4). 


En se servant de la forme explicite (4) des opérateurs S, on peut 
écrire les équations (5) comme suit 


où L+ est l'opérateur de Lie correspondant à l'élément X € g de 
translations à gauche par le groupe G et U, est la représentation 
de l’algèbre ÿ dans l’espace V, qui correspond à la représentation U 


du groupe A. 
La condition écrite sous la forme (6) permet d'effectuer « un 


passage dans le domaine complexe » dans le sens suivant. La repré- 
sentation X > L, de l'algèbre de Lie g sous forme d'opérateurs 
différentiels sur G, se prolonge par linéarité à la représentation de 
l'enveloppe complexe g, — 8 @ C. Soit p la représentation de la 


R 
sous-algèbre complexe n © 4 dans l’espace V de dimension finie. 
Alors le système d'équations 


Lxf+p(X)f=0, XEn (7) 
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définit dans C°” (G, V) un certain sous-espace noté L(G, n, 0). 

Il est clair que si nest l’enveloppe complexe de la sous-algèbre 
réelle ÿ € g, qui correspond au sous-groupe fermé connexe H & G, 
et la représentation p correspond à la représentation U du sous- 
groupe À, alors L (G, n, p) coïncide avec L (G, H, U). 

Pourillustrer le cas où n =£ n considérons un exemple très simple. 
Soient G== R?, g— R°, g. — C? et supposons que pour n nous ayons 
choisi la sous-algèbre complexe de dimension 1 définie par le 
vecteur À + iŸ, où X et Y sont les vecteurs de base de g. 

Prenons pour po la représentation de n de dimension 1, qui prend 
sur le vecteur X + iY la valeur À € C. Dans ce cas, la condition (7) 
s'écrira dans des coordonnées appropriées sous la forme 


0f . Of 
DV, m0 


En posant z — x + iy et en introduisant les dérivées formelles 


ee. nu L | CL + i 2 | nou ouvons écrire cett 
==3(x an le y)? ONU F 
condition sous la forme 

Ôf À 

9z LES 2 Î, 


d’où l’on a f — e—7/2p, où y est une fonction analytique quelconque 
de z. (Rappelons que l'équation 0w/0z = 0 équivaut aux conditions 
de Cauchy-Riemann pour l’analyticité de la fonction œ.) Par consé- 
quent, l'espace C°” (G, n, o) cst dans ce cas isomorphe à l’espace de 
toutes les fonctions analytiques de z. 

Il se trouve que le cas général, avec quelques conditions supplé- 
mentaires, est dans un certain sens la superposition des deux cas déjà 
considérés: l’espace C° (G,n, po) s'avère isomorphe à l’espace des 
sections partiellement holomorphes d’une certaine G-vibration sur 
une variété mixte (voir 5.4 pour la définition de cette notion). 

Les conditions supplémentaires sont les suivantes. 


L’'intersection n f] n est une sous-algèbre complexe de g. qui 
coïncide, comme on le voit aisément, avec l'enveloppe complexe 
y. de l’algèbre réelle ÿ = nf g. 

Supposons que 

1) le groupe G contient un sous-groupe fermé Æ (pas nécessaire- 
ment connexe), pour lequel j est l'algèbre de Lie correspondante ; 

2) les opérateurs de la représentation adjointe Ad k, k€ H, 
prolongés à g. par linéarité, ne modifient pas la sous-algèbre n; 

8) il existe un sous-groupe fermé M dans G, tel que H € M 
et n +n —m, (ici m est l’algèbre de Lie du groupe M, et m. 
l'enveloppe complexe de m). 


15* 
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Supposons donnée une représentation U du groupe H dans l’es- 
pace V de dimension finie. Supposons que la représentation corres- 
pondante U, de l'algèbre ÿ se prolonge à une représentation holo- 
morphe p de la sous-algèbre n. Notons C° (G, n, H, p, U) l’espace 
des solutions du système (7), qui possèdent les propriétés 


f(hg) = U(h)f(g), RE. (8) 

Notons que, si le groupe À est connexe, la condition (8) découle de (7). 
Théorème 1. Si les conditions énoncées ci-dessus sont satis- 
faites, alors l'espace X — H XX G sera une variété mixte de type (k, D), 


k = dim G— dim M, L =+(dim M — dim A). 


On peui définir une G-fibration partiellement holomorphe Eu. 
(équivalente à E&y — G X V dans la catégorie des G-fibrations diffé- 
U 


rentiables), de sorte que la représentation du groupe G, qui apparait 
alors dans l'espace des sections partiellement holomorphes de Eu, ,, 
soit équivalente à la représentation de ce groupe par translations à 
droite dans l’espace L (G, n, H, p, U). 

Démonstration. Introduisons d’abord dans X une struc- 
ture de variété mixte. Pour cela, posons Y = M X Get notons p 
la projection naturelle de X sur Ÿ qui fait correspondre à chaque clas- 
se Hg € X la classe Mg € Y qui la contient. Chaque fibre de la projec- 
tion p (c’est-à-dire le sous-ensemble p-!(y) dans X) s’identifie à 
l’espace homogène Z — H X M. A savoir, si l’on fixe l'élément g 
qui transforme le point d’origine x, dans le point x € p* (y), alors 
on peut définir l’action du groupe M sur p”! (y), en posant 

xx M = TOME = 1£7 Meg. 
Le sous-groupe stationnaire du point x sera, évidemment, À. 

L'identification ainsi obtenue de p”!{(y) et de Z=HXM 
dépend du choix de l'élément g € G. Un autre choix de cet élément 
équivaut à un automorphisme de l’espace Z à l’aide d'une certaine 
translation de }7. 

Introduisons maintenant dans l’espace Z une structure complexe. 
Pour cela, servons-nous du fait que l’espace Z coïncide localement 
avec l'espace complexe homogène N X M, où N et M. sont des 
groupes complexes de Lie correspondant aux algèbres de Lie n et 
m.. En effet, soient N et M, les groupes de Lie locaux. Alors l’espace 
quotient N X M, est une variété complexe homogène. Si a est un 
sous-espace de m. complémentaire à n, alors chaque élément m 
de À, s'écrira d’une façon unique sous la forme 


m—=nexpA, nEN, AEa. (9) 
L'application Nm — A donne, par définition, une carte sur N X M: 
qui applique NX M, dansle voisinage de zéro de l'espace complexe 
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vectoriel a. Remarquons maintenant que l’espace m. est engendré 
par lesous-espace net le sous-espace réel m. On en déduit que la M-orbite 
(où A7 est le groupe de Lie local qui correspond à m) du point d'ori- 


gine de Ÿ X M, est ouverte. D'autre part, l'intersection M fN W 
est évidemment munie d’une structure de groupe local, qui corres- 
pond à l'algèbre m An = ÿ. Nous obtenons ainsi une bijection entre 
les voisinages des points d’origine de WKM.et de Z=H/ M. 
Ceci nous permet de définir une carte complexe qui recouvre le point 
Z0 EZ: l’image du point z — Hm € Z sera l'élément À € a, défini 
par l'égalité (9). 


Problème 9. Démontrer que les cartes obtenues de la carte construite 
ci-dessus par translations par éléments de M forment un atlas qui définit sur Z 
une structure de variété complexe, sur laquelle M agit par transformations 
holomorphes. 

Indication. Recourir au fait que l'application holomorphe est 
exponentielle. 


Nous pouvons maintenant construire un atlas sur toute la variété 
X. Pour cela, fixons un sous-espace b € g complémentaire à m. 
Alors, dans un certain voisinage de l’unité chaque élément g € G 


s'écrit d’une façon unique sous la forme 
g=mexpB,me€M,BE5. (10) 


Décomposant ensuite m par la formule (9), nous ferons correspondre 
à chaque élément g du voisinage de l’unité le couple (4, B), AE a, 
B € b. 


Problème 10. Démontrer que les éléments 4 et B ne dépendent que 
de la classe Ag € X, que la correspondance Hg — (4, B) définit une carte qui 
recouvre le point origine de la variété X, et que les cartes obtenues à partir de 
cette dernière par translations de G forment un atlas qui définit sur XÀ une 
structure de variété mixte. 


Démontrons les autres assertions du théorème. Soit p une repré- 
sentation du groupe local pl qui correspond à la représentation p 


de l’algèbre n. Alors 6, = M, x V sera une M.-fibration holomorphe 
N 
sur NN M... 
Il est aisé de vérifier que dans la catégorie des fibrés différentia- 
bles &, est équivalent à la restriction du fibré &8y = G X V sur le 
M 


voisinage correspondant W du point z, dans Z. 

Définissons une structure de fibration partiellement holomorphe 
sur éw, en identifiant ces restrictions aux sous-ensembles de la 
forme W£g, avec les fibrations holomorphes qui s’obtiennent de 6, 
par translations par g. Alors, la dernière assertion du théorème sera 

corollaire évident de cette définition. 
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Les représentations du groupe G dans les espaces de sections (par- 
tiellement) holomorphes des G-fibrations (partiellement) holomor- 
phes ont reçu le nom de holomorphiquement induites. 

Il est naturel d'essayer d'introduire dans l’espace de ces re- 
présentations un produit scalaire G-invariant et obtenir ainsi une 
représentation unitaire du groupe G. Parfois ceci est effectivement 
possible. Par exemple, si la « partie complexe » Z de la base X est 
compacte ou équivalente à un domaine borné de C”, alors l’espace 
hilbertien engendré par ZL(G,n, H, op, U) sera un sous-espace 
fermé de ZL?(G, H, U), ce dernier étant l’espace de la représen- 
tation induite dans le sens de Mackey. 


Une question intéressante et fort peu étudiée qui se pose ici, concerne 
l'interprétation de l’espace ZL (G, n, p) et des représentations que l’on y rencontre 
dans le cas où les conditions du théorème 1 ne scraicnt pas satisfaites. (Par 
exemple, si n + nn’est pas une sous-aloèbre ou si les groupes M et Æ ne sont 
pas fermés.) 

Signalons maintenant les généralisations ultérieures de la notion de repré- 
sentation holomorphiquement induite. Rappelons (voir 5.4) que l’espace des 
sections partiellement holomorphes des G-fibrations 6 sur X peut être considéré 
comme l’espace des cohomologies de dimension zéro d’un certain faisceau sur X. 
Ceci suggère de considérer les cohomologies de plus grandes dimensions de ce 
faisceau et des représentations qui y apparaissent. Ces dernières années de nom- 
breux résultats fondamentaux ont été obtenus dans ce domaine. Un des pro- 
blèmes importants et pas encore résolu est celui de la démonstration de l'hypothèse 
de Langlands, à savoir : chaque représentation irréductible d’un groupe de Lie 
réel semi-simple G, faisant partie du domaine discret de la décomposition d’une 
représentation régulière, peut être réalisée dans l’espace des Z?-cohomologies d'un 
faisceau convenablement choisi sur l'espace X — G/H, où II est un sous-groupe 
de Cartan compact du groupe G. 

Pour plus de détails dans ce domaine de la théorie des représentations, voir 
les travaux [67], [121], [107], [112], [125], [128]. 


13.5. Opérateurs d’entrelacement et dualité. Le problème du cal- 
cul du nombre d'’entrelacement de deux représentations induites, 
auquel se réduit le problème de décomposition de la restriction d’une 
représentation induite à un sous-groupe ou d’un produit tensoriel 
de représentations induites, joue un rôle fondamental dans la théo- 
rie des représentations. 

Pour les groupes finis, ce problème se réduit à résoudre les équa- 
tions fonctionnelles très simples sur les classes d'équivalence bilatè- 
res. Soient G un groupe fini, 1, et A, deux sous-groupes, U, et U, deux 
représentations de ces sous-groupes dans les espaces V, et V, respec- 
tivement. Supposons que la caractéristique du corps principal ne 
divise pas l’ordre du groupe G. 

Considérons les fonctions opératoires À (g) sur G à valeurs dans 
Hom (V,, V,) qui possèdent la propriété 


K (igihe) = U () K (8) U2 (hi). (1) 
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Faisons correspondre à chaque fonction de ce type un opérateur 
Cx, qui agit selon la formule 


[Crfl(gs) = à K (g185*) f (ga). (2) 
g2€G 


Problème 1. Démontrer que si fEL(G, H,, V,), alors Cxf€ 
€ L(G, H,, V.)et l'application À — Cx est un isomorphisme entre l’espace de 
toutes les fonctions opératoires satisfaisant à (1) et l’espace des opérateurs 
d’entrelacement des représentations Ind V, et Ind U.. 


Indication. Soit P un opérateur dans l’espace V£ de toutes les fonc- 
tions sur G à valeurs dans V., qui agit par la formule 


(P](@)= D, Us (h)f (kg). 
hCH2 


Démontrer que P applique v£ sur L(G, H,, V.) ct que chaque opérateur de yG 
dans VS permutable aux translations à droite par G est de la forme (2). 


Il est évident qu'il suffit de vérifier la condition (1) séparément 
sur chaque classe d'équivalence double 77,g/7,. Cette condition de- 
vient particulièrement simple dans le cas où U, et VU, sont des repré- 
sentations trivialcs de dimension 1. Dans ce cas, elle donne le 
résultat suivant. 

Le nombre d’entrelacement de deux représentations quasi régu- 
lières du groupe G qui correspondent aux sous-groupes À, et 1, 
est égal au nombre de points dans l’espace Æ, X G/H,. Rappelons 
(voir 2.1) que ce dernier nombre coïncide avec le nombre de F;- 
orbites dans X, = G/H,, de H,-orbites dans X, — G/H, et de G-orbi- 
tes dans X, x X.. 

Il n’est pas toujours possible de représenter les opérateurs dans 
les espaces de dimension infinie sous forme d'opérateurs intégraux. 
Par conséquent, le calcul du nombre d’entrelacement de deux repré- 
sentations induites de dimension infinie est un problème beaucoup 
plus difficile. Néanmoins, dans le cas d’un groupe de Lie, on peut 
proposer une méthode analogue, dans un certain sens, à celle décrite 
plus haut. A savoir, si les sous-groupes Æ7, et F7, sont tels que X, — 
— G/H, ct X, — G/H, sont des variétés compactes et les représen- 
tations induites U, et U, sont de dimension finie, alors les espaces de 
Gôrding des représentations [nd U, et Ind U, seront nucléaires 
(voir problème 7 de 13.4). Pour ces espaces nous avons le théorème 
du noyau (voir 4.1). 

Par conséquent, chaque opérateur d'entrelacement s'écrit sous 
la forme 


Cxf (81) = | K (8182°)J (82) drgz, (21) 
G 


où À (g) est une fonction généralisée sur le groupe G, à valeurs dans 
Hom (V,, V.,) qui satisfait à la condition (1). 
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Ainsi, la question concernant le nombre d’entrelacement se 
réduit à trouver les fonctions généralisées sur une variété différen- 
tiable X que l’on peut transformer d’une manière donnée par l’action 
d'un certain groupe de Lie G. Ce problème d'analyse, très intéres- 
sant et difficile, n’est pas encore complètement résolu. 

Supposons que la variété X soit compacte, que le groupe Gne possède 
dans X qu'un RomDre fini d’orbites Q,, Q,, ..., Q@,, telles que la 


réunion XÀr — U Q; est une sous-variété fermée de X pour k — 
=! 
RL Re " (C'est justement ce cas que l’on rencontre, par 


“exemple, dans le problème de la classification des représentations 
irréductibles des groupes de Lie semi-simples complexes.) 

Alors, on peut introduire dans l’espace C°® (X) une filtration 
décroissante, en posant C% (X) = {f, suppf € X X X2}. 

Nous obtiendrons alors dans l’espace des fonctions généralisées 
une filtration croissante invariante par rapport à l’action du groupe. 

En passant à l’espace gradué correspondant, nous réduisons notre 
problème au problème suivant: décrire les fonctions vectorielles 
généralisées sur la variété X, qui se transforment d’une manière 
donnée sous l’action du groupe de Lie G et sont concentrées sur une 
G-orbite Q & X. On peut proposer la construction suivante de telles 
fonctions généralisées. Soit Æ le sous-groupe stationnaire du point 
Zzo E Q. Supposons qu'il existe une fonction vectorielle généralisée 
F, à support au point x, telle que 


AG (h) 
Ax (h) 


Alors, pour chaque fonction ® € C5 (X), la fonction vectorielle 
® sur G, définie par l'égalité 


D (8) = Fo, T (8) p), 
où [T (g) œl (x) = ® (xg), possède la propriété 


D (he) = RER D (8). 


Nous pouvons alors définir une fonction généralisée F 


(F, p) = Le (g) U (871) D (g) dyg, (4) 
G 


Fo (zh) — Fo (x) pour k€ H. (3) 


où p est une fonction différentiable quelconque sur G qui possède 
la propriété | o (kg) déh=1. De même que dans 13.2 (voir le pro- 


Hi 
blème 3 et son corollaire), on peut vérifier que la fonction généra- 
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lisée F ainsi construite ne dépend pas du choix de la fonction p et 
possède la propriété 
F (xg) = U (g)ŸF (x). (9) 


Problème 2. Démontrer que chaque fonction vectorielle généralisée 
sur X à support dans Q et possédant la propriété (5) s’obtient par la construction 
décrite ci-dessus à partir d’une certaine fonction généralisée F, à support au 
point x,, qui possède la propriété (3). Si l’on suppose en plus que la fonction F, 
ne dépend que de la valeur de la fonction principale et de ses dérivées dans des 
qe transversales à Q € X, alors la correspondance entre F, et F sera 

ijective. 

Indication. Recourir au fait que chaque fonction généralisée peut 
être approximée par une fonction généralisée à support fini. 

La solution du problème peut également être obtenue à partir des résultats 
de F. Bruat [68]. 


Remarquons que la recherche des fonctions généralisées qui se 
transforment d’une manière donnée est nécessaire, mais n’est pas 
en général suffisante pour calculer le nombre d’entrelacement. 
C'est que les opérateurs qui correspondent aux ionctions trouvées 
par la formule (2’) agissent d’un espace de Gürding d’une représen- 
tation dans l’espace conjugué à l’espace de Gôürding de l’autre 
représentation. Ils ne peuvent pas être toujours prolongés à un opé- 
rateur borné qui agit d’un des espaces hilbertiens dans l’autre. La 
question de savoir sous quelles conditions un tel prolongement 
s'avère possible (et quand ce dernier sera un opérateur positif) est 
assez compliquée et freine la résolution du problème de distinguer 
les représentations unitaires irréductibles des groupes de Lie com- 
plexes semi-simples dans la classification déjà réalisée de toutes les 
représentations absolument irréductibles (voir [971]). 

Discutons maintenant les généralisations possibles de la dualité 
de Frobenius. Comme nous l’avons déjà remarqué dans 13.2, cette 
dualité n’a plus lieu dans le cas de dimension finie. 


Des variantes intéressantes d’analogues de la dualité de Frobenius ont été 
proposées par G. Mackey [115], C. Moore [118], I. Gelfand et I. Piatetski- 
Shapiro (voir [20]). Une formulation simple et générale de la dualité généralisée 
de Frobenius a été récemment trouvée par G. Olchanski [124]. 


Théorème 1(G Olchanski). Soient G un groupe loca- 
lement compact, H un sous-groupe fermé tel que l'espace quotient 
X = H X Gest compact et possède une mesure G-invariante un. Soient 
T une représentation unitaire irréductible du groupe G et U une repré- 
sentation unitaire de dimension finie du sous-groupe H. Alors 


c(T, IndU)=c(T° lus U), (6) 


où T° ln est la représentation de H dans l’espace de Gôrding de la repré- 
sentation T. 
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Remarquons que dans ce théorème on se sert de la notion 
d'espace de Gürding pour un groupe localement compact quelconque 
(cf. la remarque à la fin du 12.1). 

Nous donnons ici la démonstration du théorème pour le cas où G 
est un groupe de Lie. Soit À € @ (T, Ind U); alors, d’après le 
problème 5 de 10.5, l'opérateur À envoie l’espace de Gôrding L° 
de la représentation 7 dans l’espace de Gôrding de la représentation 
Ind U. Ce dernier coïncide d’après le problème 7 de 13.4 avec 
C° (G, H, U). Par conséquent, pour chaque vecteur & de L°® on 
peut définir un vecteur AË (e) dans l'espace de la représentation U. 
Nous avons 


AT (h) 8 (e) = (Ind U) (h) AË (e) = AË (k) = U (h) AË (e) 


pour hk € H. Par conséquent, l'application Ë ++ AË (e) est un opéra- 
teur dans @T° |x, U). Il est clair que l'application construite de 
& (T, Ind U) dans @(T° |x, U) est linéaire et possède un noyau nul. 


Montrons maintenant que chaque opérateur B € 6 (T° ln, U) 
s'obtient de cette manière. 


Pour cela, posons pour le vecteur £ € L° 
AE (g) = B(T (g) Ë). 


L'opérateur ainsi défini envoie £ dans la fonction AË sur le 
groupe G, fonction qui satisfait à la condition 


ÂE (hg) = U (h) ÀË (eg). 


Vu que l'application g —+ T (g) Ë est différentiable (voir le problème 
2 dans 10.5), lai fonction AË appartient à C” (G, Æ, U). D'après 
la compacité de X — H KG, ce dernier espace est inclus d’une 


manière continue dans l’espace L? (G, H, U) de la représentation 
Ind U. 


Nous avons donc construit un opérateur À € @ (T°, Ind U). 
Montrons qu'il se prolonge à un opérateur À € 6 (T, Ind U). 


Problème 3. Démontrer que l'opérateur À possède une fermeture. 

Indication. Il faut vérifier que des conditions &, —— 0 dans Z, 
É, EL, AË; —+ f dans L? (G, H, U).il découle que f — 0. Faire appel à la 
méthode de lissage (voir 10.5) et à la relation 


ÂÀT (w)=(Ind U) (œ) À pour pe CS (G). 


Problème 4. Soit À la fermeture de A. Démontrer que À est un opé- 
rateur borné. |  . 
: Indication. Recourir à la méthode de démonstration du théorème 2 
ans 7.3. 
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Ainsi, nous avons construit un opérateur À € @ (T, Ind U). 
Il est aisé de voir que l'opérateur qui lui correspond dans @ (T° |rr, U) 
coïncide avec l'opérateur donné B. 

Le théorème est démontré. 


13.6. Caractères des représentations induites. Le résultat prin- 
cipal de ce paragraphe est la formule (5), qui exprime le caractère 
généralisé de la représentation induite 7 = Ind Ü en termes du 
caractère généralisé de la représentation U. 

Cette formule est analogue à la formule de Frobenius (voir pro- 
blème 9 dans 13.1) et s’identifie à celle-ci lorsque G est un 
groupe fini. 

Rappelons que la formule de Frobenius est de la forme 


21 _Xv (s (x) gs (x)"*), 


où Yu est une fonction sur G qui coïncide avec yu sur A et est égale 
à 0 en dehors de 7. 
Supposons maintenant que G soit un groupe localement compact, 
H son sous-groupe fermé, X — AH XX G un G-espace homogène à 
droite. Fixons une application borélienne s: X — G qui possède la 
propriété s (x) € x pour tous les x € X. Alors, chaque élément g € G 
s'écrit d’une façon unique sous la forme 


g—=hs(x), hCÇH, xEX (1) 
et il existe une mesure borélienne v, sur X, telle que 
dig = dih dv, (x) (2) 


(voir formules 5° et 6” dans 9.1). 
Si x est une fonction généralisée sur le sous-groupe }7, alors nous 
noterons %* la fonction généralisée sur le groupe G, définie par l’éga- 


lité 
= p(s(x) "hs (a). 

Th ë or N me 1. Soient U une représentation unitaire du sous- 
groupe H dans un espace séparable V, et U, une représentation liée 
à U par l'égalité 


Ag (h)717/ 
Uo() = RE ns | 2U(h). (4) 


1) si le caractère x+r de la représentation T = Ind (G, H, U) est 
défini sur la fonction P € Co (QG), alors pour presque tous les x € X les 
fonctions généralisées xÿ, sont définies sur œ et on a l'égalité 


rs = | , P dv (2): 6) 
ZX 
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2) si la fonction ® € C, (G) est positivement définie, appartient au 
domaine de définition des caractères Yxÿ, pour presque tous les x € X, 
et l'intégrale dans le membre droit de l'égalité (5) converge, alors 
appartient au domaine de définition du caractère yr. 

Démonstration. Considérons d’abord comment le choix 
de l’application s fait varier les grandeurs qui figurent dans la for- 
mulation du théorème. Si l’on remplace s (x) par s” (x) = h(x)s (x), 
les fonctions œ, subissent la transiormation engendrée dans C, (A) 
par l’automorphisme interne n — h (x)"! hh (x). Cet automorphisme 
multiplie la mesure d,h par Ax (h(x))-!. Par conséquent, lors du 
passage de s à s’ le caractère %ÿ, est multiplié par Ax (h (x)). La me- 
sure V,”, Comme on le voit aisément, est liée à la mesure wv, par l’égali- 
té dvsr (x) — dvs (x) An (h(x)71). Cela veut dire que la grandeur 
sous l'intégrale dans le membre droit de la formule (5) ne dépend pas 
du choix de s. 

Faisons appel à la formule explicite pour la représentation T 
donnée dans 13.2: 


[T (8) f(x) = U, (h) f (y), (6) 
où À E Het y E X sont définis par l'égalité 
s (x) g = hs (y). (7) 


D'où il est aisé d'obtenir l’expression de l'opérateur :T (p) — 
= | T (g) o (g) d\g comme opérateur intégral dans ZL?(X, V) à 


G 
noyau opératoire. 


Problème 1. Démontrer que l'opérateur 7 (œ) est de la forme 


T (9) f&)= | Ko (as y) f (u) dvs G), (8) 
ZX 
où 
Hole = | p (6 (a)-4s (u)) Vo (0) ah (9) 
H 


Indication. Recourir aux formules (2), (6) ct (7). 


Nous avons supposé jusqu'ici l'application s uniquement 
borélienne. Supposons maintenant que sur un certain sous-ensemble 
ouvert À, © X de mesure complète, (c’est-à-dire (X X X,) = 0), 
l'application s soit continue. 

La démonstration de la possibilité d’un tel choix étant assez 
encombrante, nous ne nous arrêterons pas là-dessus tandis que le fait 
lui-même est assez évident dans tous les exemples ci-dessous. 
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L'énoncé du théorème 1 découle des égalités (8), (9) et de la 
propriété des opérateurs intégraux à noyau continu que nous donne- 
rons sous forme d’un théorème à part. 

Soient X un espace topologique localement compact à mesure 
borélienne u, K (x, y) une fonction opératoire mesurable sur X X X 
dont les valeurs sont des opérateurs linéaires dans un espace hilber- 
tien séparable V. Considérons l'opérateur intégral &# dans l’espace 
L?(X, un, V) des fonctions de carré intégrable sur X à valeurs dans V: 


(SE 1 (2) = À K (a, y) à Go) du (u. (10) 
X 


Théorème 2. Supposons que la fonction opératoire K (x, y) 
soit continue pour l'ensemble de ses variables dans la topologie opéra- 
toire faible. Pour que l'opérateur & donné par la formule (10) possède 
une trace, il faut, et pour les opérateurs positivement définis, il suffit 
que la trace tr K (x, x) existe pour presque tous les x € X et que l'in- 
tégrale 


| tr X (x, x) du (x) (11) 


X 


converge. 

Si la trace de existe, elle coïncide alors avec la valeur de l'inté- 
grale (11). 

La démonstration du théorème 2 sera effectuée par étapes. Nous 
considérerons d’abord le cas dim V = 1, c’est-à-dire que X (x, y) 
est une fonction numérique continue. Dans ce cas, l’énoncé du théo- 
rème prend la forme de la formule bien connue pour la trace d’un 
opérateur intégral nucléaire à noyau continu. Rappelons le schéma 
de déduction de cette formule. D'après la définition d’opérateur 
nucléaire, la fonction Æ (x, y), comme élément de l’espace L? (X X X), 
est de la forme 


K (x, y) = 2 di (x) Pi (Y), (12) 


où æ; et 1; sont des fonctions de norme unité dans ZL?(X), et 
> [A | << oc. La trace de l'opérateur € à noyau X (x, y) est égale, 
î 


comme on le voit aisément, à l’expression 
> À; (Pi, Vire x) (13) 
1 


Si la somme (12) converge sur la diagonale A, & X x X pour 
la norme de Z'(Az%, u), alors l’expression (13) coïncide avec la 
valeur cherchée (11). Malheureusement, nous savons seulement 
que la somme (12) converge en moyenne sur À x X. Pour éviter 
cette difficulté, on emploie généralement la technique de lissage. 
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A savoir, on construit un filet d'opérateurs S,, &« € À, qui possèdent 
les propriétés : 

1) les normes des opérateurs S, sont toutes majorées par une même 
constante ; 

2) lim S, — 1 dans la topologie opératoire forte de l’espace 

œE À 
L?(X, u); 

3) chaque opérateur $S, applique d'une manière continue 
L?(X, u) dans Co (ZX). 

Nous ne donnerons pas ici une construction explicite de cette 
famille. Remarquons seulement que si X est une variété et la mesure 
u dans la carte locale coïncide avec la mesure de Lebesgue usuelle, 
alors pour S,, on peut prendre l'opérateur qui, dans les limites de 
la carte donnée, coïncide avec le produit de convolution par une 
fonction positive continue @, convenablement choisie. 


Problème 2. Démontrer que si Æ est un opérateur nucléaire, alors 
les opérateurs #',%# — S,AS% le sont également co in trAÆ, = tr . 


Indication. Faire appel à la décomposition 49 de l'opérateur 
dans une somme d’opérateurs de rang un. 
Problème 3. Démontrer que l’opérateur 64’, est un opérateur intégral 


à noyau continu Æ, (x, y) et tr Æ#, — | K, (x, x) du (x). 


X 
Indication. Recourir à la décomposition (12) et à la propriété 3) des 
opérateurs S,. 
Problème 4 Démontrer que si Z est un opérateur intégral nucléaire 
à noyau continu X (x, y) nul en dehors d’un certain compact, alors 


troÆ = | K (x, x) du (x). 
À 


Indication. Recourir au problème précédent et au fait que À, (x, y) 
converge uniformément vers Æ (x, y). 

Problème 5. Soit & un Soésstone intégral nucléaire à noyau conti- 
nu Æ (x, y). 


Démontrer que pour chaque fonction q € C, (X) nous avons l'inégalité 


LT pe) Ke 2) du (1 1€ he 9 lee 
X 


où || lh désigne la norme nucléaire de l'opérateur €. 

Indication. Faire appel au résultat du problème 4 et à l'inégalité 
|| Por h I Po IS lh, où Po est l'opérateur de multiplication par q dans 
L?(X, u). 


La première assertion du théorème dans le cas dim V = 1 découle 
directement du problème 5. La deuxième se déduit facilement du 
fait suivant. 
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Problème 6. SicZ est un opérateur positif à noyau continu Æ (x, y) 
nul en dehors d’un certain compact, alors &£ est un opérateur nucléaire et 
l’on a 

HZ [1 = tr = | K (x, x) du(x). 
K 


Indication. Des conditions du problème il découle que Æ (x, x) > 0 
et | K (x, y) | < K (x, x) K (y, y). Ensuite, si À; sont les valeurs propres 
de l’opératcur Æ et œ; les fonctions propres normées correspondantes, alors 
pour chaque N, l'opérateur à noyau 


N 
K (x, y)— D) Aïbi (a) pi QU) 
i=1 
est positif. En déduire que la somme D MP: (x) p; (y) converge uniformément 


et que >, À; < oc. 


U 


Passons au cas dim V > 1. 

Soient {e,} une base orthonormée de l’espace V,, et P, l’opéra- 
teur de projection sur e,. Alors, si € est un opérateur nucléaire, les 
opérateurs €’, — P,@'P, le seront aussi, et l’on aura tr & — 


= Dtr 
ñn 
L'opérateur €, peut être considéré comme opérateur intégral 
dans L?(X, u) à noyau 
Kn (x, y) = (K Le ÿ) En, En)v. 


D'après la condition du théorème, le noyau est continu. Par consé- 
quent, 


tr En — | KA (x, 2) du (x) 
YX 
et 


træ=S | (x, x) du (x). 
n À 


Montrons que dans la dernière expression on peut changer de place 
les signes de somme et d'’intégrale. Pour cela, il suffit de vérifier 


que la suite SK, (x, x) converge absolument dans L; (X, u). Ceci 
n 
équivaut à son tour à la condition 
[5 An (æ, 2) qn (r) du (a) | < 00 
n À 


pour une famille quelconque de fonctions p, € L” (X, u) dont les 
valeurs absolues sont majorées par une même constante. Mais cette 
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dernière condition est équivalente à la nucléarité de l'opérateur 
D#, où D est l'opérateur dans L?(X, u, V) donné par la formule 


D (x) + > Pr (x) Phj (x). 
Vu que | 
] D Î T. Î Pa [1.00 (X,u) < O9, 


l'opérateur DÆ est effectivement nucléaire et notre assertion est 
démontrée. Aïnsi, nous avons obtenu l'égalité 


tré — | > (Æ (x, t)e», En)v du(x.) (14) 
X n 


Montrons maintenant que les opérateurs Æ (x, x) sont nucléai- 
res pour presque tous les x et, par conséquent, l'égalité (14) se trans- 
forme dans l'égalité (5) cherchée. Considérons l’espace 


L'(X,u, V @ V') 
des fonctions opératoires u-mesurables À sur X à valeurs dans l’es- 
pace V © V” des opérateurs nucléaires de l’espace V avec la norme 


IX = ILE (e) I du (2). 
À 


L'application bilinéaire de 
L'(X,u, V)xL?(X, u, V” 
dans | 
L'(X,u, V © V”), 
donnée par la formule (œ, %) — œ@ (x) @ 4 (x) est continue et, par 
conséquent, se prolonge à une application de l’espace 
L2(X,u, V) S L?(X,u, V'). 


Ce dernier est isomorphe, évidemment, à l’espace des opérateurs 
nucléaires dans L?(X, nu, V). Par conséquent, on peut faire corres- 
pondre à chaque opérateur nucléaire € une fonction 


Ko(x)E L'(X, u, V@V"), 
telle que tr &# — [ tr K, (x) du (x). 


X 


Problème 7. Soit À (x) une fonction opératoire sur X, continue et 
bornée, dont les valeurs sont des opérateurs dans l’espace V. Notons ,4 l’opéra- 
teur dans L?(X, u, V) qui agit suivant la formule 


(#9) @) = À (x) f (). 
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Démontrer que 


tr AA = | trA(x) Ko(x) du (x). 
X 


Indication. Considérer d’abord le cas où &£ est de rang fini. 

Problème 8 Démontrer que KX, (x) coïncide avec K (x, x) presque 
partout. 

Indication. Dans le cas contraire, pour certains e,, ete, et un certain 
sous-ensemble U de mesure positive dans X on aurait eu l’inégalité 


(Ko (€) Enr em) (KE (&, &) ns Em) pOur x € U. 
Ce qui contredit l’énoncé du problème 8. 


Ainsi, la première assertion du théorème est démontrée. 

11 reste à démontrer la dernière pour le cas dim V > 1. Elle 
découle du fait que l’opérateur positif € possède une trace, si et seu- 
lement s’il en est de même pour tous les opérateurs &, — P,&P, 
et vtr Æy < oo. 


C orollaire. Le caractère ÿyr de la représentation T — 
— Ind (G, H, U) est concentré sur l'adhérence de l’ensemble U gHg”t. 


8€G 
En particulier, si H est un sous-groupe invariant, alors 7 est concentré 


sur H. 

En effet, le support de la fonction généralisée yÿ, est contenu 
dans s (x)-!Hs (x), tandis que le support y est contenu dans l’adhé- 
rence de la réunion des supports y5ü,, x € X. 

L'ensemble U gHg-! possède une interprétation géométrique 


G 
très simple : er T l’ensemble des éléments g € G qui possèdent un 
point immobile dans X. 

Ceci suggère que la valeur du caractère y au point g (dans Île 
cas où cette valeur a effectivement un sens, c’est-à-dire quand la 
fonction généralisée y est une mesure donnée par une densité con- 
tinue par rapport à la mesure de Haar) est liée à la structure des 
points immobiles de la transiormation g. Mentionnons ici un des 
résultats semblables. 


Problème 9. Soient G un groupe de Lie, H son sous-groupe fermé et U 
une représentation unitaire de dimension finie du groupe H. Supposons que le 
groupe G possède un sous-ensemble ouvert G, tel que tous les éléments g € G 
n’ont qu'un nombre fini de points fixes non dégénérés dans X. (Non dégénéré 
veut dire que pour l'application dérivée g, de l’espace tangent à un point fixe, 
l’unité n’est pas un nombre propre.) Démontrer que dans ce cas la restriction 
du caractère yr de la représentation T = Ind (G, H, U) à G, sera une mesure 
dont la densité par rapport à d,g est donnée par la formule 


Xu (s (xi) gs (xi)71) 

OT = D, ———_— 5 — 5 — (15) 
2 | det (8,2) /2—8, (x) 72) |" 

où la somme est calculée sur tous les points fixes x; de la transformation g. 

16—0361 
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Indication. Soient g, € Getz, un point fixe de la transformation g,. 
Démontrer que l'application de X X H dans G par la formule (x, h) > 
> s (x)-l hs (x) est un difféomorphisme dans le voisinage du point (xo, ho) ct 
que la mesure dv, (x) d,h est envoyée par ce difféomorphisme dans une mesure 
dÀ (g) telle que sa dérivée par la mesure d,yg est égale, au point go, à 
| det (1 — (go)x) |. Faire également appel aux formules (4), (5) ct à la relation 


AG (h 

REC = | det (gg)e | 

AK (ho) 

Il est à signaler ici que la formule (15) est liée à l’expression proposée par 
M. Atiah et P. Bott dans [59] pour les traces des opérateurs dans les espaces des 
sections des fibrés différentiables. Dans le travail de Atiah et Bott on considère 
les opérateurs T = D.S, où S est un opérateur de translation dans le fibré 
différentiable et D un opérateur pseudodifférentiel. Dans le cas où la translation 
ne possède qu’un nombre fini de points fixes non dégénérés sur la base, on montre 
que la forme linéaire f (D) = tr (DS) se prolonge d’une façon unique (par conti- 
nuité dans une topologie convenable) du sous-espace des opérateurs intégraux 
nucléaires à noyau différentiable à l’espace de tous les opérateurs pseudodiffé- 
rentiels. Pour le cas où D est un opérateur différentiel (en particulier, l’opéra- 
teur de multiplication par une fonction), les auteurs signalent une formule 
cxplicite qui exprime la trace de l'opérateur T en fonction des coefficients de 
l'opérateur D dans les points fixes de $. On peut vérifier que la formule d’Atiah- 
Bott, de même que la formule (15), coïncide avec l’expression que l’on obtient 
en mettant l'opérateur 7 sous forme d’opérateur intégral à noyau généralisé 
et en calculant ensuite tout à fait formellement la trace par la for- 


mule (11). 
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14.1. Groupes projectifs et représentations projectives. Considé- 
rons un espace vectoriel V de dimension n sur le corps X. Le groupe 
de toutes ces transformations linéaires inversibles est isomorphe au 
groupe GL (n, K) des matrices non dégénérées d'ordre n, à éléments 
dans À. 

Soit P (V) l’espace projectif correspondant, c’est-à-dire la famille 
de tous les sous-espaces de dimension 1 de V. L'action du groupe 
GL(n, K) dans P (V) n’est pas effective !): les matrices scalaires 
(et elles seules) donnent la transiormation identique de P (V). 

Par conséquent, le groupe de toutes les transformations projecti- 
ves (c’est-à-dire des automorphismes de P (V)) est isomorphe au 
groupe PGL (n, K) = GL(n, K)/C, où C est l’ensemble des matri- 
ces scalaires. 

Le groupe PGL (n, K) possède également une autre réalisation 


importante. 


Problème 1. Soit Mat, (X) l'algèbre matricielle complète d'ordre nr 
sur le corps À. Démontrer que chaque automorphisme de Mat, (X) est de la forme 


X > AXA”1, (1) 


1) L'action du groupe G sur l’ensemble X s'appelle effective, si à chaque 
élément g = e correspond une transformation non identique de X. 
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Indication. Soient P;, i = 1,2,..., n des matrices diagonales 
dont Ie i-ème élément est égal à 1 et les autres sont nuls. 
Utiliser les relations 


D._f 0 pour iÆ j, 
ie P; pour i=}j, 


ct démontrer que les images de P; par un automorphisme quelconque sont des 
opérateurs de projection sur des sous-espaces de dimension 1. 


Corollaire. Le groupe des automorphismes de l'algèbre 
Mat, (Æ) est isomorphe à PGL (n, K). 

En effet, la transformation (1) est identique si et seulement 
si À est une matrice scalaire. 

Considérons maintenant un espace hilbertien complexe ÆH et 
l’espace projectif correspondant P (4) (l’ensemble de tous les sous- 
espaces de dimension 1 de ÆH). 

On peut introduire dans P (H) une distance : 


P Css he) = Pi — Pl, (2) 


où P; est l’opérateur de projection orthogonale sur les sous-espaces 
de dimension 1 h;, i — 4,2 


Problème 2. Soit E; un vecteur unité dans le sous-espace h;, i = 1, 2. 
Démontrer que 


P (1, h2)2—=1—] (61, É2) [2. 


Corollaire. La condition p (h,, h,) = 1 équivaut à l'ortho- 
gonalité de h, et h:. 


Problème 3. Démontrer que chaque transformation isométrique 
de P (H) est de la forme 


h + Uh, (3) 


où k E P (H) et U est un opérateur unitaire ou antiunitaire dans J. 
Indication. Soient {E,}e:A une base orthonormée de H et h, le 
sous-espace de dimension 1 engendré par le vecteur £,. Pour chaque transfor- 
mation isométrique $S de l’espace P (H), il existe une transformation S, de la 
forme (3), telle que SS51 laisse sur place tous les points k,, & € A. En déduire, 
en utilisant le problème 2, que pour chaque sous-ensemble 4, & À Ia transfor- 
mation SSçt envoie en elle-même la famille P, (H) des sous-espaces k € P (4) 


engendrés par les vecteurs de la forme £ — > Cxëae Montrer que la transfor- 


& € Ao 
mation SS;1 s'écrit sous la forme (3), où U est un opérateur unitaire diagonal 
dans la basé {€, }, ou bien cet opérateur est le produit d’une telle transformation 
et de la conjugaison complexe (dans la même base). 


Ainsi, le groupe PÜ (H) de toutes les transformations isomé- 
triques de P (H) est isomorphe au groupe quotient U (H)/C, où 
16* 
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Ü (H) est le groupe de tous les opérateurs unitaires et antiunitaires 
dans À, et C son centre, formé des opérateurs unitaires scalaires. 

Le groupe Ü (H) est un groupe topologique par rapport à la 
topologie opératoire forte (qui coïncide sur Ÿ (H) avec la topologie 
opératoire faible). Il est évident que C est un sous-groupe fermé dans 
Ü (H). Par conséquent, le groupe quotient PÜ (A) = Ü (HY/C, 
muni de la topologie quotient, sera un groupe topologique séparé. 


_ Problème 4. Démontrer que la composante connexe de l’unité dans 
PU (H) sera le groupe PU (H) = U (H}/C, où U (H) est le groupe des opérateurs 
unitaires dans X. 

Indication. Utiliser le fait bien facile à déduire du théorème spectral 
pour les opérateurs unitaires que le groupe U (AH) est connexe dans la topologie 
forte. 


De même que pour le cas de dimension finie, on peut indiquer 
une réalisation de PU (H) comme groupe des automorphismes de 
l’algèbre opératoire. 

Problème 5. Notons 8 (4) la C*-algèbre de tous les opérateurs bornés 
dans H. Montrer que chaque automorphisme de % (A) est de la forme 

X > UXU’1, (4) 


où U € Ü (H). : | : | | 
Indication. Utiliser la méthode employée pour résoudre le problè- 
me 1 en tenant compte du fait que les opérateurs P; et leurs images par les auto- 


morphismes sont hermitiens. 


Corollaire. Le groupe de tous les automorphismes de $ (H) 
est isomorphe à PU (H). | 
Comme nous l'avons déjà dit dans 7.1, on appelle représentation 
projective du groupe G tout homomorphisme de G dans le groupe 
PGL (n, K). En choisissant pour chaque élément de PGL (n, Æ) 
un élément de GL(n, K) qui s’y projette, nous voyons que chaque 
représentation projective peut être définie comme l'application 
T: G— GLi(n, K) qui possède la propriété 
T (83) T (ge) = € (gus Le) T (8182) (o) 


où c (g1, 82) est une fonction sur G @ G à valeurs dans XŸ = AN {0}. 

Un changement du choix des représentants de T (g) entraîne la 

multiplication de la fonction c (g,, g+) par une fonction quelcon- 
que de la forme a. 

£ £ 
Co (Bi 8) = Gen (6) 
D'autre part, la fonction c (g:, g2) n’est pas arbitraire. Elle doit 
satisfaire à l'identité 
C (Sas La) C (S1En 83) = C (8 Bas) C (Sos 83) (7) 
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qui découle de la comparaison des opérateurs T'(g,82) T (g:) et 
T'(g1) T (ge£ 3). 

Si l’on se rappelle les définitions de 2.5, on voit que la représen- 
tation projective T définit d’une façon unique un certain élément 
hr du groupe H°?(G, K*) des cohomologies de G de dimension deux 
à valeurs dans K*. 

Chaque cocycle c (y,, g,) appartenant à la classe k- s'appelle 
multiplicateur de la représentation projective T. Les multiplicateurs 
qui appartiennent à la classe nulle, c’est-à-dire ayant la forme (6), 
s’appellent triviaux. Il est clair qu’une représentation projective à 
multiplicateur trivial est équivalente à une représentation linéaire 
(c’est-à-dire à une représentation à multiplicateur identiquement 
égal à 1). 

On appelle représentation unitaire projective du groupe G tout 
homomorphisme de ce groupe dans le groupe PÜ (H). 

Si Gest un groupe topologique, cet homomorphisme est supposé 
continu. 

Du résultat du problème 4 il s'ensuit que pour les groupes G con- 
nexes les représentations projectives unitaires sont des homomorphis- 
mes de G dans PU (H). | 

Les propriétés des groupes projectifs décrites dans les problèmes 1 
et o font apparaître les représentations projectives et projectives 
unitaires du groupe G dans de nombreux problèmes liés à ce groupe. 
Expliquons ici en détail comment l’étude des représentations linéai- 
res (respectivement unitaires) des extensions des groupes amène aux 
représentations projectives (respectivement aux représentations 
projectives unitaires). D’autres problèmes où les représentations 
projectives font également leur apparition seront étudiés dans les 
numéros 17.2 et 18.2. 

Rappelons que dans le numéro 13.3 nous avons réduit la classi- 
fication des représentations de l’extension d’un groupe au problème 
suivant. Supposons donnés le groupe F7, son sous-groupe invariant V 
et la représentation ÜU du sous-groupe NW qui possède la propriété: 
pour chaque h € H les représentations U (n) et U, (n) = U (hnh”!) 
sont équivalentes. Il faut décrire toutes les représentations irréducti- 
bles T du groupe Æ dont la restriction à V est un multiple de U. 
Nous montrerons maintenant que ce dernier problème équivaut à 
la | des représentations projectives du groupe quotient 
K = H/N. 

Pour chaque classe 4 € K, choïisissons un représentant © (k) € H. 
Alors, chaque élément À € H s'écrit d’une façon unique sous la forme 


h=o(k)n, kEK, nEN. (7) 


Il sera utile de mettre l’espace V où agit la représentation cher- 
chée T sous forme de produit hilbertien V, @ V, de sorte que les 
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opérateurs T (n), n € N prennent la forme 
T (n) = 1v, @ U (n). (8) 


Notons que la possibilité d'écrire les opérateurs T (n), n € N sous la forme 
(8) est équivalente au fait que 7 |, est un multiple de U. 


Par ailleurs, vu que pour chaque k € K les représentations 
U(n) et Ur(n)=UÙ (o (4) no (k)"!) 


sont équivalentes, il existe dans l’espace V, les opérateurs W (k) 
tels que 


U (o (k) no (k)) = W (4) U (n) W (k)*. (9) 


Comparons les opérateurs T'(o (k)) et 1y, © W (4) d'après leur 
action sur les opérateurs T (n), n € N. Des relations (8) et (9), il 
est aisé de déduire que l’opérateur 7 (o (4)) (1y, © W (k)7!) permute 
à tous les opérateurs T'(n), n EN. Vu que U est irréductible, on 
peut donc en déduire que cet opérateur est de la forme S (k) @ 1y, 
(voir problème 1 de 4.5 pour le cas unitaire et théorème 2 de 8.2 pour 
le cas d’une représentation linéaire de dimension finie). Ainsi, la 
représentation cherchée T doit être de la forme 


T'(h) = S (%) @ W(&) U (n), (10) 


où kEK et n EN se définissent par l'égalité (7). 

Que peut-on dire maintenant sur les opérateurs S (k) et W (k). 
La condition (9) définit l'opérateur W (k) à un multiple scalaire 
près. Par conséquent, les opérateurs S (k) ne sont également définis 
qu’à un multiple scalaire près. Nous obtenons ainsi une application 
de À dans le groupe des transformations projectives. Montrons que 
cette application sera un homomorphisme. Ceci découle du fait très 
simple suivant. 


Problème 6. L'égalité À @ B = À, @ B, n'est possible que si 
A = ÀA;, B = À-1B, pour un certain scalaire À. 
Indication. Comparer les éléments matriciaux des deux opérateurs. 


En effet, du fait que © (4.,) o (k.) est égal à © (k,k,) modulo N, 
on déduit que l'opérateur T (o (k,) © (k:)) est de la forme 
S (kike) © W (kik:) U (n) 


pour un certain nr € N. D'autre part, cet opérateur est égal au produit 
de T'(o (k,)) et de 7 (o (k,)), c’est-à-dire 


S (41) S (k:) © W (ki) W (k:). 
Par conséquent, d’après le problème 6 
S (1) S (kr) = À (us Ko) S (Hys ko). (11) 
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Donc S est une représentation projective à multiplicateur À (k,, k.) 
défini par la relation 


W (k1) W (ko) = À (ka, ko) 1W (kiko) U (n), (12) 
où ñr € N'est donné par l'égalité 
O (k,) Oo (ko) = © (kiko) n. (13) 


Le résultat de tous les raisonnements ci-dessus sera le 

Théorème 1. La formule (10) établit une bijection entre les 
représentations T du groupe H, dont les restrictions sur N sont des mul- 
tiples de la représentation irréductible U, et les représentations projecti- 
ves S du groupe K = H/N à multiplicateur (12). La représentation T 
est irréductible si et seulement si lareprésentation projective correspon- 
dante S l’est aussi. 


14.2. Théorie de Shur. On peut construire une représentation 
projective du groupe G de la manière suivante. Soit 


SCC C-1 


une extension centrale du groupe G à l’aide d’un sous-groupe commu- 
tatif G,. Considérons la représentation linéaire Ÿ du groupe G sur 
le corps X et supposons que tous les opérateurs T (24), go € Go soient 
scalaires. 

Pour chaque g € G choisissons une image réciproque quelconque 
g EG. Il est clair qu’en faisant correspondre à l'élément g € G l'opé- 
ratcur Ÿ (g) nous obtiendrons une représentation projective du 
groupe G. 

Nous dirons que la représentation projective T, obtenue par la 
construction décrite ci-dessus, est linéarisée par le groupe G ou s'ob- 
lient de la représentation linéaire G. 


Problème 1. Démontrer que chaque représentation projective T 
du groupe G est linéarisée par un certain groupe G. 

Indication. Prendre pour G l’extension centrale de G à l’aide de K* 
correspondant à la classe kr (voir 2.5). 


I] se trouve que pour un groupe fini G, il existe une extension cen- 
trale universelle G qui linéarise toutes les représentations projectives 
du groupe G. On a, en effet, le 

Théorème 1 (Il. Shur). Soient G un groupe fini, K un 
corps algébriquement fermé de caractéristique quelconque. IT existe alors 
une extension centrale G du groupe G, à l'aide d'un groupe abélien 
fini Go, tel que chaque représentation projective du groupe G sur le 
corps K s'obtient de. la représentation linéaire du groupe G, scalaire 
sur Go. 
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Démonstration. Si l’on admet que le groupe G, ne soit 
pas fini, le théorème se démontre aisément sans aucune restriction 
au groupe G et au corps Æ par le procédé suivant fort simple. Con- 
sidérons le groupe Z? (G, K*) de tous les cocycles de dimension deux 
sur G à valeurs dans K*. À chaque couple d'éléments g, et g, de G, 
il correspond un homomorphisme 


X (gs, 82) : Z° (G, K*)— K*, 
qui envoie le cocycle c dans le nombre c (g,, g). 


Problème 2. Démontrer que l’application (g,, ge) — Us, go CSt Un 


cocycle de dimension deux sur G à valeurs dans le groupe M de tous les homo- 
morphismes de Z?(G, K*) dans X*. 


Construisons maintenant l’extension G, du groupe G, à l’aide du 
sous-groupe M, correspondant au cocycle « du problème 2. Rappelons 
que cette extension est formée des couples (g, m), g€G, m€EM, 
dont la multiplication s'effectue d’après la règle 


(Bis Ma) (Bas Mo) = (SiLos Maman (Lis Lo)). (2) 


Si 7, est une représentation linéaire du groupe G, dont la restric- 
tion au sous-groupe M est scalaire et de la forme 


Ti(,m)=m(c), cEZ?(G, KY), (3) 


les opérateurs T (g) = T, (g, 1) satisfont à la condition (5) de 14.1. 
La réciproque est également vraie: si les opérateurs T' (g) satisfont 
à la condition (1), la formule 


T; (g, m) = T (g)-m (c) (4) 


définit une représentation linéaire du groupe G.. 

Ainsi, toutes les représentations projectives du groupe G s’ob- 
tiennent à partir des représentations linéaires du groupe G.. 

Le groupe M faisant partie de cette construction est trop large. 
En particulier, il peut être infini même si G est fini. Or, on peut 
remplacer M, sans perdre les propriétés nécessaires de ce groupe, par 
un groupe plus restreint. En effet, soit Z°(G, K*) un sous-groupe 
de Z? (G, K*) possédant une intersection non vide avec chaque classe 
de cocycles cohomologiques. Autrement dit, la projection naturelle 
de Z°(G, K*) sur H?(G, K*) est un épimorphisme. Pour obtenir 
toutes les représentations projectives du groupe G, il suffit de consi- 
dérer seulement les cocycles de Z?(G, K*). 

Soit M, le sous-groupe de M annulant Z°(G, K). Si la représen- 
tation projective 7 correspond au cocycle c € Z°(G, K*), la repré- 
sentation linéaire 7, définie par la formule (4) est triviale sur le 
sous-groupe M, € G;. Par conséquent, elle engendre une représen- 


tation du groupe G = G/M,. 
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D'après l'hypothèse ci-dessus, chaque représentation projective 
du groupe G est équivalente à une représentation à multiplicateur 
dans Z°(G, K*). Par conséquent, chaque représentation projective 


de G s'obtient d’une représentation linéaire du groupe G. Ce dernier 
est évidemment l’extension centrale de G& à l’aide du groupe G, = 
= M/IM.,. 

Il est donc naturel de rechercher le plus petit sous-groupe de 
Z'(G, K) possédant la propriété nécessaire. Ce groupe ne peut être 
trop petit, car H?(G, K*) est son groupe quotient. 

Il se trouve que dans les conditions du théorème (c'est-à-dire 
pour un groupe fini G) on peut bien atteindre cette limite naturelle. 
A savoir, il existe un tel sous-groupe Z°(G, K*) dans Z?(G, K*) 
que l’on peut projeter isomorphiquement sur H?(G, K*). 

Cette assertion se déduit aisément (voir, par exemple, [13], $ 53) 
de la théorie des extensions, décrite dans 2.4, et du fait suivant. 


Problème 3. Soit G un groupe fini. Démontrer que H?(G, K*) est 
un groupe fini, dont l’ordre ne divise pas la caractéristique du corps X, 
mais divise l’ordre de G. 
Indication. Supposons que l’ordre de G soit égal à n et quecE€ 
s D(g1)b (ge) |: 
Z?(G, K*). Démontrer quec (g4, D = 2", où b = c (£, : 
€ Z?(G, K*) cquec (a, a = Où b (4) I (g, &1) 
1 
Vérifier ensuite que si l’élément À € H?(G, K*) est d'ordre k, le cocycle lui 
correspondant peut être choisi de manière à avoir c (g, go)* = 1. Enfin, sip 
est la caractéristique du corps X, alors dans X* on peut trouver les racines 
uniques de degré p. Par conséquent, le groupe H? (G, K*) possède aussi la même 
propriété. 


La liaison décrite ici entre les représentations projectives du 
groupe G sur le corps Æ et le groupe H°? (G, K*) peut s’avérer utile 
pour le calcul de ce dernier groupe. 


Problème 4 Démontrer que H°?(G, K*) — 0 si Gest un groupe libre. 

Indication. Chaque représentation projective d’un groupe libre est 
équivalente à une représentation linéaire. 

Problème 5. Démontrer que si le groupe H? (G, K*) est trivial, alors 
le groupe H?(G X G, K*) est isomorphe au groupe de toutes les applications c: 
G X G— K*, multiplicatives par rapport à chaque argument et possédant la 
propriété 

C (Bar 81) = (815 82) 1. 


Indication. Soit 7 la représentation projective de G X G sur K: 


poser 

CT (g1, ge) =T (81. DT (1, ge) T (g1, LT (1, ge) !. 
Utiliser le fait que les restrictions de 7 aux sous-groupes G X 1 et 1 X G sont 
équivalentes à une représentation linéaire. 


14.3. Représentations projectives des groupes de Lie. La théorie 
de Shur des représentations projectives des groupes finis peut être 
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appliquée aux groupes topologiques. Pour la notion de cohomologies 
continues ou boréliennes des groupes topologiques voir le travail 
récemment publié de C. Moore [1191]. 

Considérons ici le cas le plus simple (mais en même temps le 
plus important pour les applications), où le groupe considéré G est 
un groupe de Lie connexe. 

Soit T une représentation complexe projective de G. Considérons 
le groupe G.;, dont les éléments sont les couples de la forme (£, À), 
où g£€ Get À est l’un des opérateurs linéaires qui engendrent la 
représentation projective 7 (g). La multiplication dans G, s’effectuc 
par composantes : 


(g1s A1) (Las Ao) = (SiSas A1). 


L'application (g, A) — g est évidemment un épimorphisme de G, 
sur G, dont le noyau est l’ensemble des couples de la forme (e, À :1), 
où ÀEC*. Nous obtenons ainsi l'extension 


= Cr GC t (1) 


La représentation T' s'obtient de la représentation linéaire G, 
qui fait correspondre au couple (g, À) l'opérateur À. 

La représentation unitaire projective 7 (c’est-à-dire l’homomor- 
phisme dans le groupe PU (H)) admet une construction analogue. 

Dans ce cas, le rôle de G, revient à l’ensemble des couples (£, U), 
où Ü est un opérateur unitaire qui donne la transformation 7 (g) de 
l'espace projectif P (H). Nous obtenons ainsi l'extension 


1—T-G—-G—1. (2) 


La représentation 7 s’obtient de la représentation linéaire unitaire 
G qui envoie (g, U) dans U. 

Montrons maintenant que le groupe obtenu G,; se munit d’une 
structure de groupe de Lie, telle que (1) et (2) s'avèrent des suites 
exactes dans la catégorie des groupes de Lie. Pour fixer les idées 
considérons le cas d’une représentation unitaire. Soit (g, U) € G. 
Choisissons les vecteurs unité & et n dans l’espace de la représentation 
unitaire pour lesquels (UE, n) 0. 


Problème 1. Démontrer qu'il existe un voisinage W du point g tel 
que (VE, n) 0 pour tous les opérateurs unitaires V qui définissent la transfor- 
mation projective T (£), g € W. 

Indication. Utiliser la continuité de l’application 


T: G— PU (H). 
Si k, et k: sont les sous-espaces de HX engendrés par n et Ë, alors on peut prendre 
pour W l’ensemble de tous les g € G pour lesquels 
P (T (g) hys he) <1 
(voir problème 2 de 14.1). 
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Soit W, l’image réciproque du voisinage W dans G,; par la pro- 
jection naturelle de G, dans G. 
(UË, n) 
(8 enr n) | 
sur WXT. Munissons W, de la structure de variété que possè- 
de WXT. 


L'application (g, U) — envoie bijectivement W, 


Problème 2. Démontrer que l’atlas ainsi obtenu sur G, se compose 
de cartes liées continûment et définit sur G, une structure de groupe de Lie. 
Indication. Utiliser la continuité de la fonction 


g—|(U(8)Ë, n)|=0(T(g) A1, he) 


et le théorème de Gleason-Montgomery-Zippin de 6.1. 


Ainsi, le groupe G, est un groupe de Lie qui est l’extension du 
groupe G à l’aide de T. 

Soit G le revêtement universel du groupe G et G; le revêtement 
universel du groupe G1. 

Nous avons alors un diagramme commutatif avec lignes exactes 


ie Gr GeRel 


log] 


1e-G-G<T-1 


où les flèches verticales désignent les projections naturelles. 

Comme on le sait (voir 6.3) le groupe @ est entièrement défini 
par son algèbre de Lie g, qui est l’extension de l’algèbre de Lie g 
à l’aide de l'algèbre de Lie R de dimension f{. 

Pour les extensions des algèbres de Lie on peut construire une 
théorie analogue à la théorie des extensions des groupes, décrite 
u 2.4. Citons ici le résultat définitif sous une forme qui sera utile 
par la suite. Soient Z?(g, R) l’ensemble des fonctions réelles bilinéai- 
res antisymétriques c sur g X g qui possèdent la propriété 


C(IXs, Xl, X3) + C(LXo XZal Xi) + C (IX 3, X1), 2) = 0, (3) 


B? (4, R) le sous-espace de Z2?(g, R) composé de fonctions de la 
forme 


C(X1, Xe) = (F, [X1, Xe), FE g*. (4) 


L'espace quotient H°?(9, R) = Z?(9, R)/B° (g, R) s'appelle espace 
des cohomologies de dimension deux de l'algèbre g à coefficients 
dans KR. 
Théorème 1. Zl existe une bijection entre les éléments de 
H? (4, R) et les classes d'extensions équivalentes de l'algèbre a à l’aide 
R. 
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Plus exactement, à la classe h € H? (9, R) contenant l'élément 
cEZ?(9, R) correspond la classe des extensions équivalentes qui con- 
tient l'extension donnée par la formule 


[(X1, ti); (Xo 2) Te [(X:; Xl, (4 (X; X 2)); 
X;:€39, l; ER, i = 1,2. 
Si l'algèbre de Lie g est la somme d'une sous-algèbre semi-simple 
g1 et d’un idéal résoluble g:, H° (9, KR) est isomorphe au sous-espace de 


H? (g:, R) engendré par les cocycles c E Z? (9, R) qui possèdent la 
propriété 


C ([X:, Y], X 2) — (ZX, [Y, Xl), X; € LE Y € 1: (9) 


Corollaire. Chaque représentation projective d'un groupe de 
Lie connexe et simplement connexe semi-simple s'obtient d’une repré- 
sentation linéaire du même groupe. 

En effet, de la dernière assertion du théorème 1 il découle que 
H? (9, R) — O0 pour une algèbre de Lie semi-simple g. Par consé- 
quent, l’algèbre g, sera dans ce cas la somme directe de g et de R, 
et le groupe G, sera le produit direct de G et de KR. 

L'exercice ci-dessous est utile pour une meilleure assimilation 
des faits exposés dans ce numéro. 


Problème 3. Soient P le groupe de toutes les transformations affines 
de l’espace réel de dimension quatre ne modifiant pas la forme quadratique 
X? + X3 + X2 — X2 (le groupe de Poincaré) et P, la composante connexe de 
l'unité dans 

Construire l’extension universelle G du groupe P, linéarisant toutes les 
représentations projectives de ce groupe (cf. le théorème 1 de 14.2). 

Indication. L'ensemble de toutes les matrices complexes d'ordre 3 
de la forme 


avec l'opération de commutation 
[X1, X 2] = X1X42 — XoÂ) 


est une réalisation utile de l’algèbre de Lie p du groupe P. 

La sous-algèbre p,, définie par la condition u = v = 0, est semi-simple 
et correspond au sous-groupe des transformations homogènes (transformations 
de Lorentz). L'idéal p,, défini par la condition a = c = 0, correspond au sous- 
groupe des translations. Chaque forme bilinéaire antisymétrique c sur p, qui 
satisfait à la condition (5) est de la forme 


C(X1, X2) = Re À (uv — uu), NEC. 


L'extension universelle correspondante peut être réalisée par des matrices 
complexes de la forme 


O —v U w 
0 a b u 
0 € —4@ v 
0 0 0 O0 
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Le groupe G correspondant à cette algèbre de Lie admet une interprétation 
géométrique très simple : c’est le sous-groupe de Sp (4, C) qui laisse invariant 
un vecteur non nul. 

Problème 4 Trouver l’extension universelle du groupe des isométries 


du plan. 

Indication. Démontrer l’analogue du théorème 1 pour le cas où g, 
est l’algèbre de Lie du sous-groupe de rotations, et g, l’algèbre de Lie du sous- 
groupe des translations, 
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La méthode des orbites repose sur le « fait expérimental » sui- 
vant : la théorie des représentations unitaires de dimension infinie 
de chaque groupe de Lie est intimement liée à une certaine représen- 
tation particulière de dimension finie de ce groupe. Cette représen- 
tation agit dans l’espace dual g* à l’algèbre de Lie g du groupe 
considéré G. Nous appellerons cette représentation coadjointe ou, plus 
brièvement, X-représentation. 

Les orbites d’un groupe de Lie dans l’espace de la X-représenta- 
tion sont des variétés simplectiques. Elles peuvent être interprétées 
comme espaces de phases d’un système mécanique hamiltonien, pour 
lequel le groupe de Lie donné est un groupe de symétrie. 

Il s'avère que les représentations unitaires irréductibles du grou- 
pe G sont liées aux orbites de ce groupe dans la X-représentation. Pour 
la construction d’une représentation à partir d’une orbite voir 15.8. 

Elle est la généralisation de la procédure de quantification bien 
connue en mécanique quantique. Pour plus de détails voir 15.4. 

Selon l’opinion personnelle de l’auteur l’importance de la méthode 
des orbites réside non seulement dans les théorèmes précis déjà obte- 
nus, mais aussi dans toute une série de règles heuristiques fort simples 
et concrètes servant à résoudre les questions fondamentales de la 
théorie des représentations. Avec le temps ces règles se mettront 
sous la forme de théorèmes rigoureux, mais aujourd’hui même leur 
utilité est hors de doute. 

Dans le numéro 15.5, nous montrerons comment la projection 
naturelle p: g* — y*, où ÿ est l’algèbre de Lie du sous-groupe ZT, 
permet de décrire les opérations de restriction au sous-groupe Æ et 
d’induction à partir de ce sous-groupe. 

Les caractères généralisés des représentations unitaires irréduc- 
tibles admettent, comme nous le verrons dans 15.6, la forme fort 
simple d’une intégrale de l’orbite correspondante. Ceci permet sou- 
vent de mettre la mesure de Plancherel sous une forme explicite. 

Nous montrerons enfin, dans 15.7 que les caractères infinitési- 
maux des représentations unitaires irréductibles du groupe G peu- 
vent être calculés comme valeurs des polynômes G-invariants sur 
les orbites correspondantes. 
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15.1. Représentation coadjointe d’un groupe de Lie. Soit G un 
groupe de Lie, g son algèbre de Lie et g*, l’espace dual à 9. Le grou- 
pe G agit sur g à l’aide de la représentation adjointe Ad (voir 6.3) 
et dans g* à l’aide de la représentation coadjointe, ou brièvement, 
de la X-représentation. 

Si l’algèbre de Lie gest réalisée sous forme d’une algèbre de champs 
de vecteurs invariants à gauche sur G, il est alors naturel de réali- 
ser g* sous forme de l’espace des formes différentielles d'ordre un 
invariantes à gauche sur G. La X-représentation du groupe G agit 
dans l’espace des 1-formes par translations à droite. 

Etudions en détail un exemple qui sera d’ailleurs utile dans le 
cas général. Soit G — GL(n, C) le groupe de toutes les matrices 
complexes non dégénérées d'ordre nr. Puisque G est un sous-ensemble 
ouvert dans l’espace vectoriel Mat, (C) de toutes les matrices, nous 
pouvons identifier l’espace tangent à G dans un point quelconque 
g € Gavec Mat, (C). Alors, le champ vectoriel sur G sera simplement 
une fonction matricielle. 


Problème 1. Démontrer que chaque champ de vecteurs invariants 
à gauche sur G est de la forme 


va (X) = XA, À E Mat, (C), (1) 


et que le champ v\ est envoyé par la translation à droite par l’élément Y € G 
dans le champ vy14y. 

Indication. Vérifier que le champ v(X) sur G est envoyé par a 
translation par Ÿ, à gauche et par Y, à droite dans le champ v’ (X) = 
= Yu (Yi'XYs1) Y.. 


Il est bien commode d'identifier l’espace dual à Mat, (C) avec 
Mat, (C) à l’aide de la forme linéaire (sur R) 


(X, Y) = Re tr XY. (2) 


Alors, les 1-formes sur G s’écriront également comme fonctions 
matricielles. 


Problème 2. Démontrer que chaque 1-forme invariante à gauche 
sur G s'écrit 
op(X)=BX"1, B € Mat, (C) (3) 


et que la forme ©, est envoyée par translation à droite par l’élément Y € G 
dans la forme ©;py-1 


Par conséquent, dans l'exemple considéré, la ÆX-représentation 
est équivalente à la représentation adjointe et les orbites du groupe 
G dans la X-représentation sont des classes des matrices semblables. 
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Supposons maintenant que G est un groupe de Lie quelconque. 
Remplaçant, s’il le faut, G par un groupe localement isomorphe, 
nous pouvons supposer que G soit un sous-groupe de GL (n, C) 
(voir 6.2). 


Il est à remarquer que toute X-représentation transforme les éléments du 
centre du groupe en opérateurs identiques. Par conséquent, les X-représentations 
transforment les groupes localement isomorphes en groupes linéaires isomorphes. 


L’algèbre de Lie g du groupe G sera alors une sous-algèbre de 
Mat, (C). 

Soient gl le supplément orthogonal à g par rapport à la forme 
bilinéaire (2), V un sous-espace quelconque de Mat, (C), supplémen- 
taire à gL et P le projecteur sur V parallèle à gt. On peut alors iden- 
tifier g* à V de sorte que la X-représentation s’écrive sous la forme 


K(g)X =P(gXg), XEV,g8gec. (4) 


Exemple. Si G est le sous-groupe de GL(n, C) formé de 
toutes les matrices réelles triangulaires supérieures avec des unités 
sur la diagonale principale, on peut alors prendre pour V le sous- 
espace des matrices réelles triangulaires inférieures avec des zéros 
sur la diagonale principale. L'action de l’opérateur P consiste dans 
ce cas à remplacer tous les éléments situés sur ou au-dessus de la 
diagonale principale par des zéros. 

Notons © (G) l’ensemble des orbites du groupe de Lie G dans 
la X-représentation, muni de la topologie quotient de la topologie 
naturelle dans g*. L’espace topologique © (G) n’est pas en général 
séparé. Dans les exemples considérés ci-dessus, il est semi-séparé. 
On peut citer des exemples de groupes G (voir 19.2) pour lesquels 
© (G) ne sera même pas semi-séparé. 

Passons maintenant à l'étude des orbites d’un groupe de Lie G 
dans une X-représentation. Montrons maintenant que chacune de 
ces orbites possède une 2-forme fermée non dégénérée G-invariante. 

Il nous faudra quelques renseignements d'ordre général sur les 
formes différentielles sur les variétés homogènes. 

Soient G un groupe de Lie, À son sous-groupe fermé et M —HXG 
la variété homogène des classes d'équivalence à droite de G par H. 
Notons p la projection naturelle de G sur M faisant correspondre au 
point g la classe Hg. L'application dérivée p, (e) est un opérateur 
linéaire de l'algèbre g du groupe G dans l’espace tangent à M au 
point origine À. Il est clair que le noyau de cet opérateur coïncide 
avec l'algèbre de Lie ÿ du sous-groupe FH. Par conséquent, l’espace 
tangeant TM s'identifie à l’espace quotient g/ÿ. L’isométrie 
g EG applique le point H dans Hg. L'application dérivée g,4 (1) 
est un isomorphisme de TM sur Tx,M et l'application duale 
g* (H) sera un isomorphisme de TH,M sur TM. Utilisant ces 
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isomorphismes, nous pouvons définir les champs de tenseurs sur M 
en forme de fonctions sur G à valeurs dans l'algèbre tensorielle 
sur g/ÿ. À savoir, si ® est un champ de tenseurs de rang (k, L) sur M, 
la valeur de la fonction @ au point g € G sera le tenseur œ (g) de 
rang (%,!) sur T{XM prenant sur les vecteurs &,, ..., &, ct les 
covecteurs M1, .-.., MA une valeur égale à 


D (Zg) (8x (77) Ci …..) Lx (4) A g* (H) ns, .….. g* (4H) Ma). (5) 


Problème 3. Démontrer que la fonction @ sur G à valeurs dans 


Th: L(g/v) correspond à un champ de tenseurs de rang (k, L) sur M si et seulement 
si elle satisfait à la condition 


P (kg) = p1 () p (&), (6) 


où x, est la représentation naturelle de H dans T°: l'(g/v) engendrée par la 
représentation adjointe de Æ dans g/t. 

Indication. Utiliser la formule (5) pour retrouver ® à partir de œ 
et montrer que ® est bien défini, si et seulement si on a la condition (6). 


En particulier, les formes différentielles d'ordre Z sur M se défi- 
nissent par les fonctions sur G à valeurs dans 


A (@/)*)& AE), 


qui satisfont à la condition 
p (kg) = pi (h) p (8), (6') 


où p, est la l-ième puissance extérieure de la représentation naturelle 
de H dans l’espace 5. 

La notation introduite ci-dessus permet de mettre les isométries 
de G sous une forme particulièrement simple. 


Problème 4. Démontrer que si le champ de tenseurs ® correspond à la 
fonction ®, alors le champ obtenu de ® à l’aide de la translation par g € G 
correspond à la fonction obtenue de @ à l’aide de la translation à droite par £g. 

Il est à remarquer que la liaison, décrite ci-dessus, entre les champs de 
tenseurs et les fonctions cst un cas particulier de l’interprétation des sections 
des G-fibrations sur HG comme fonctions vectorielles sur G transformées d'une 
manière donnée par les translations à gauche sur ÆJ (voir 13.4). 


Corollaire. Les formes différentielles G-invariantes sur M — 
— HG correspondent d'une façon unique aux éléments H-invariants 
de A(L). 

En effet, du problème 4 il découle qu’à chaque forme G-invariante 
correspond une fonction constante sur G à valeurs dans /A\(yL) et 
de la condition (6) que la valeur de cette fonction est un élément 
H-invariant. 
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Problème 5. Supposons qu’à la k-forme invariante ® sur M = H\XG 
corresponde la forme extérieure @ € A (11). Alors, à la différentielle d® cor- 
respondra la forme dp € A**! (ÿ1) donnée par la formule 


1 — - : 
dp (A + = D Cp (Xs, Xl... À, &,..) (1) 
i<j 


Indication. Utiliser la formule (3) de 5.3, la relation 


Leu (n) — v (n) Le = L (IE, nl 


et le fait que si la forme ® est G-invariante et le champ de vecteurs & correspond 
à l'élément X de l’algèbre de Lie du groupe G, alors L:® — 0. Comparer aussi 
à la formule (4) de 5.3. 


Revenons à l'étude des orbites d’un groupe de Lie G dans la 
X-représentation. 

Soient Q une de ces orbites, F un point quelconque de Q et Gr 
le stabilisateur de ce point. 


Problème6. Démontrer que l’algèbre de Lie g} du groupe G} coïncide 
avec le noyau de la forme bilinéaire antisymétrique PB sur g, définie par la 
formule 


BR(X, Y)=(F7, [X, Yl). (8) 


Indication. Le noyau de la forme B,; se compose, par définition, des 
éléments X Eg tels que Br (X, Ÿ) — 0 pour tous les Y dans g. 
Démontrer la relation 


Br(X, Ÿ)— 4 _ K (exptX)F e | 7) (9) 


et en déduire l’assertion du problème. 


Vu que la valeur de B;(X, 2) ne dépend que des images de X 
et de Ÿ dans l’espace quotient g/gr, nous obtenons une forme 


linéaire antisymétrique sur g/gF que nous noterons Br. Le 
noyau de cette forme B, est l’image dans g/g# du noyau de la 
forme B, et, d’après le problème 6, est nul. Par conséquent, la 


forme B, est non dégénérée. 


Problème 7. Démontrer que B; est un élément G-invariant dans 


A? (g/9r)*. 


Indication. Utiliser la définition de G, et les relations 
Pa (8) Br(X, Y)=Br(Ad(g-t)X, Ad(g1)Y)=(K(g)F,[X, YD. (10) 


Du problème 6 et du corollaire au problème 4, il découle que 
Q — Gr G possède une 2-forme G-invariante non dégénérée Bo, 


correspondant à l'élément G-invariant B# dans /\? (g/gr)*. 
17—0361 
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Notre construction de la forme Ba dépendait du choix du point F. 
Montrons maintenant que la forme PQ elle-même ne dépend pas de 
ce choix. Ceci découle de l'expression explicite suivante pour Ba. 


Problème 8. Supposons que £4 désigne le champ de vecteurs sur 
Q qui correspond à l’élément X €g. Alors, pour chaque point F” € Q, nous 
avons l'égalité 


Pa (F”) (Ëx (F"), Ey (F"))={(F", [X, Y}). (11) 


Indication. Utiliser la formule (5) et le fait que le vecteur E, (F) 
est envoyé par l'identification de 7 FQ avec g/g# dans X mod gp. 


Montrons maintenant que la forme BA est fermée. En calculant 
le différentiel de cette forme d’après la formule (7) du problème 5, 
nous obtenons l'expression 


LIBr(LX, Y] 2)+Br([Y, ZI, X)— Br ([X, 2}, Y)1= 


= (FIX, Y}, ZIHILY, Z) XIII, XX YD 


qui est nulle d’après l’identité de Jacobi. Par conséquent, dBa = 0 
et la forme PB, est fermée. 

Enonçons le résultat de nos raisonnements. 

Théorème 1. Sur chaque orbite QG du groupe de Lie G dans 
sa K-représentation il existe une 2-forme non dégénérée fermée G-inva- 
riante Bo, définie par la formule (11). 

Formulons le corollaire géométrique évident du théorème 1. 

Toutes les G-orbites de la K-représentation sont de dimension paire. 

En effet, une forme antisymétrique non dégénérée ne peut exister 
que dans un espace de dimension paire. 


15.2. Variétés simplectiques homogènes. On appelle variété 
simplectique une variété réelle différenciable M de dimension 
paire munie d’une 2-forme différentielle fermée non dégénérée B. 

Comme exemple de variété simplectique citons l'espace T*N 
du fibré cotangent sur une variété quelconque V. La forme B se 
définit sur TN de la manière suivante. 

Soient Ü une carte quelconque sur Æ et qi, ..., g, les coordon- 


nées locales correspondantes. Dans chaque espace TEN,mEeU 
choisissons les coordonnées p,, . .., p, qui correspondent à la base 


6) Ô 
+. 7x de TN. 


TA 
Alors, la famille (q,, . . ., Qn3 Pis + + +, Pr) Sera un système de 
coordonnées locales dans le domaine U € T*N qui est l’image 
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réciproque de Ü par rapport à la projection naturelle p: T*N — N. 
Munissons ÜU d’une 1-forme différentielle oy en posant 


k 
= À pidqi. (1) 


Problème 1. Soient Ü et V deux cartes quelconques sur W, U et V 
les cartes correspondantes dans T*WN. Démontrer que les formes oy et oy coïnci- 
dent sur l'intersection des domaines U et Y. 

Indication. Soient (q, «.., 4h Pis + + +, pr) les coordonnées dans 
le domaine U, et (qi, . .., Qm3 Pis + + +» Px) les coordonnées dans le domaine Y. 
Il est clair que les q; sont des fonctions qui ne dépendent que de q, . .., Qp; 
tandis que les p; dépendent linéairement de p4, ..., p,. Démontrer que 


R 


= da: 
Pi (Mis +09 hs Par ce.) m)= Ÿ a Dj. 


qi 


j=1 


Ainsi, la variété T*N se trouve munie d’une 1-forme unique o 
dont la restriction à une carte quelconque Ü coïncide avec oy. 

Posons B = do. Alors B est une forme fermée car dB = do = 0. 
En outre, la forme B est non dégénérée puisque dans le système 
de coordonnées locales U, elle s’écrit 


Rk 
By = 2 dpi /\dgi. (2) 


L'existence d’une 2-forme non dégénérée permet de construire 
une bijection entre les champs de vecteurs et de covecteurs sur une 
variété simplectique. À savoir, à chaque champ de vecteurs Ë cor- 
respond le champ de covecteurs (c'est-à-dire la 1-forme) 1 (€) B 
(pour la définition de l’opération & (£) voir 5.3). 

Appelons hamiltonien le champ de vecteurs & sur une variété 
simplectique M munie de la forme B si 


Autrement dit, le champ £ est hamiltonien si la famille des 
transformations induite par ce champ ne modifie pas la forme B. 


Problème 2. Démontrer qu’un champ de vecteurs est hamiltonier 
si et seulement si la 1-forme correspondante 1 (£) B est fermée. 
Indication. Utiliser la formule (3) de 5.8. 


Appelons strictement hamiltonien le champ Ë si la 1-forme 1 (E) B 


est exacte, c’est-à-dire 


L(É) B+dF=0 (4) 
47* 
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pour une certaine fonction F sur M. La fonction F s'appelle fonction 
génératrice du champ E£ et se définit par l’égalité (4) à une constante 
additive près. Chaque fonction réelle F sur M est la fonction généra- 
trice d’un champ strictement hamiltonien sur M que nous noterons Ë,. 


Problème 3. Démontrer que le commutateur de deux champs de 
vecteurs hamiltoniens est un champ de vecteurs strictement hamiltonien. 

Indication. Prendre pour la fonction génératrice du champ [E, n|], 
v(E)e(n) 2 = 2B (é, n). Utiliser l'indication au problème 6 de 15.1. 


Soient F et G deux fonctions réelles différenciables sur 1. Nous 
avons alors les égalités 


ÉrG = 2B ($r; 8G) = —ËcF. (9) 


En effet, EFRG — —(dG, Ëp) — —(1 (éc) B) (&r) — —2B (6c, Er) = 
— 2B (Ex, Ëc); la deuxième égalité se démontre d'une manière 
analogue. 

La valeur commune des trois expressions de (5) s'appelle produit 
de Poisson des fonctions F et G et s'écrit {F, G}. 


Problème 4. Démontrer quesi dans un certain système de coordonnées 
a la forme B s'écrit de la manière (2), le produit de Poisson se définit par 
’égalité : 


{F, => —  ). (6) 


En fait, l'hypothèse du problème n’est pas nécessaire. D’après le théorème 
bien connu de Darbout, chaque 2-forme fermée non dégénérée est, dans un système 
de coordonnées locales convenablement choisi, de la forme (2). 


Remarquons que si le groupe des cohomologies de dimension 1 
H' (M, R) de la variété M est trivial, alors chaque 1-forme fermée 
est exacte et, par conséquent, chaque champ de vecteurs hamilto- 
nien est strictement hamiltonien. Dans le cas général, les champs 
strictement hamiltoniens forment un sous-espace F7, (M) dans l’es- 
pace À (M) de tous les champs hamiltoniens. La codimension de 
H, (M) dans H (M) est égale au rang b, (M) du groupe AH! (M, R). 

L'espace C” (M, R) des fonctions réelles différenciables sur M 
est une algèbre de Lie de dimension infinie par rapport au produit 
de Poisson. En effet, l'identité de Jacobi 


{F, {G, H}} + {G, {H, F}} + {H, {F, G}} = 0 (7) 


découle des considérations suivantes. 
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Vu que F —+ £; se définit par la forme B, elle est permutable à 
toutes les transformations qui ne modifient pas cette forme: de 
telles transformations s'appellent canoniques. Mais chaque champ 
hamiltonien n est la dérivée locale d’une certaine famille de trans- 
formations canoniques. Nous avons donc l'égalité 


ÉL,p Fr Lër 
ou 
Enr ju [n, Ep]. 


En remplaçant n par le champ EG et appliquant les deux membres 
de l'égalité obtenue à la fonction A, nous obtenons l'identité 
cherchée (7). 


Problème 5. Démontrer que l’application F+- EF est un homomor- 
phisme de l’algèbre de Lie C2 (M, R) dans l’algèbre de Lie A, (M). 


Indication. L'égalité 


Gt, G} — [Ep Ec] (8) 


« 


à démontrer se transforme, en appliquant ses deux membres à une fonction 
quelconque H € Cæ (M, R), dans l'identité (7). 


Ainsi, nous avons une suite exacte d’algèbres de Lie: 
0 R—> C°(M,R) <> HM — 0, (9) 


où à est l’inclusion naturelle de R dans C°” (M, R) en forme de sous- 
espace des constantes, et j applique F dans Ë%. 

Supposons maintenant que la variété M soit munie d’une action 
transitive du groupe de Lie G, telle que toutes les transformations 
de ce groupe sont canoniques (ne modifient pas la forme B). Nous 
dirons alors que M est une variété simplectique homogène. À chaque 
élément X de l'algèbre de Lie g du groupe G correspond alors un 
champ hamiltonien £, sur M. 

Si tous les champs x, X € g sont strictement hamiltoniens et 
les fonctions génératrices FX; de ces champs peuvent être choisies 
de sorte à satisfaire à l'égalité: 


Fix, v1={Fx Fy}, (10) 


alors nous dirons que M est une variété simplectique strictement 
homogène. 
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Autrement dit, une variété homogène simplectique s’appellera 
strictement homogène si nous avons le diagramme commutatif 
d’algèbres de Lie suivant : 


0 
0 R—+C°(M,R)— le 0 
g ——> H(M) 
H!(M,R) 


0 


Comme exemple de variété simplectique strictement homogène 
à groupe d’isométries G citons toute orbite du groupe G dans sa 
K-représentation. 

En effet, comme nous l’avons vu dans 15.1, chacune de telles 
orbites Q est une variété simplectique homogène. Il reste à vérifier 
que est une variété simplectique strictement homogène. Ceci 
découle du fait suivant. 


Problème 6. Soit n>; le champ de vecteurs sur Q qui correspond 
à l'élément X € g. Alors, pour fonction génératrice ®# de ce champ nous pou- 
vons prendre la restriction sur @ de la fonction linéaire F-> (F7, X) sur g*. 


On a l'identité 


{Pxs Py} = PIX, Y]' 


Indication. La première assertion découle de la définition de la forme 
BA et de la fonction génératrice, la deuxième de l'égalité (5). 


Il se trouve qu'outre les orbites de X-représentation il n’y a plus, 
au fond, d’autres variétés simplectiques strictement homogènes, 
dont le groupe d’isométries est le groupe de Lie connexe G. En effet, 
soit M une telle variété. Désignons, comme nous l’avons fait plus 
haut, par Fx la fonction génératrice du champ de vecteurs E sur M 
correspondant à l'élément X de l'algèbre de Lie g du groupe G 
et supposons que la relation (10) soit satisfaite. 

Considérons l'application @: M—-g* définie par la formule 


(p (m), À) = Fx(m). (11) 


Problème 7. Démontrer que l’application o est permutable à l’action 
du groupe G. 

Indication. Vu que G est connexe, il suffit de démontrer que 
permute aux éléments de la forme exp YŸ, Y € g. Pour cela, il est à son tour 
suffisant de vérifier que l’application dérivée y, envoie le champ de vecteurs £y 
sur M dans le champ de vecteur ny sur g*. Mais ceci découle de (10). 
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Problème 8 Démontrer que l'application o est un homéomorphisme 
local de M sur une des G-orbites de g*. 


Indication. Le fait que o (M) est une G-orbite de g* se déduit du 
problème 7. Parmi les champs &6,, X € q, il existe dans chaque point m € M 
des champs indépendants £x,, ..., 6x, Où k — dim M. Leurs fonctions généra- 


trices Fx,,..., Fx, possèdent des différentiels linéairement indépendants 
dans ce point. L'application est donc un homéomorphisme local. 


Ainsi, la variété M est un « revêtement » d’une certaine orbite Q 
du groupe G dans g*. Si l'orbite © est simplement connexe, alors 
elle ne possède aucun revêtement connexe non trivial. Dans le cas 
contraire, comme on le sait, il y a autant de revêtements que de 
sous-groupes dans le groupe fondamental x, (Q). Chaque revêtement 
s'obtient par factorisation du revêtement universel (simplement 
connexe) Q par un sous-groupe correspondant l & x, (Q) (voir 6.1). 

Le résultat obtenu permet de décrire, en termes d’orbites, toutes 
les variétés simplectiques homogènes dont le groupe d’isométries 
est un groupe de Lie connexe G. 


Si M est une telle variété, son revêtement universel M sera 


une variété simplectique homogène par rapport au groupe G@, le 
revêtement universel du groupe G. 


Chaque champ hamiltonien sur M sera strictement hamiltonien, 
mais les fonctions génératrices des champs Ë%, X € g, ne satisfont, 
en général, à la relation (10) qu’à une constante additive 
près. 

Considérons l’algèbre de Lie (par rapport au produit de Poisson) 
engendrée par toutes les fonctions génératrices de tous les champs 
Er, À Eg. Il est évident que cette algèbre de Lie g, est l’extension 


de g à l’aide de R. Soit G,; le groupe de Lie simplement connexe 
correspondant. 


Problème 9. Démontrer que la variété M est une variété hamilto- 
nienne strictement homogène par rapport au groupe G. 


Indication. Définir l’action de G, sur M de sorte qu'elle applique 


les éléments du sous-groupe invariant correspondant à l’idéal R € g, dans la 
transformation identique. 


Ainsi, nous avons démontré le théorème suivant. 


Théorème 1. Chaque variété simplectique homogène dont 
le groupe des isométries est un groupe de Lie connexe Gest localement 


isomorphe à l'orbite dans une K-représentation du groupe G ou de son 
extension centrale à l’aide de K. 


15.3. Construction de la représentation unitaire irréductible par 
son orbite. Toutes les méthodes de construction des représenta- 
tions irréductibles de groupes connues jusqu’à présent consistent 
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à appliquer (maintes fois peut-être) les trois opérations fondamenta- 
les suivantes : 

1) restriction à un sous-groupe, 

2) prolongement à partir d’un sous-groupe, 

3) induction à partir d’un sous-groupe (ainsi que les différentes 
généralisations de cette action; voir 13.4). 

Ces opérations permettent d'obtenir, à partir d’un nombre 
restreint de représentations « élémentaires », toutes les autres. Pour 
les groupes de Lie (ainsi que pour les groupes finis), en tant que 
représentations élémentaires, on peut probablement considérer les 
représentations de dimension 1; mais cette hypothèse n’est pas 
démontrée. 

Nous ne considérerons ici que le cas où la représentation irré- 
ductible du groupe G s’obtient d’une représentation de dimension 1 
par une seule réalisation de l'opération d'’induction ou de ses 
généralisations: l'induction holomorphe ou la représentation dans 
les cohomologies. 

Comme nous l’avons vu dans 13.4, chaque représentation T se 
définit par la famille (n, Æ, 0, U), où nest une sous-algèbre complexe 
de g., l’enveloppe complexe de l’algèbre de Lie g du groupe G; 
H, un sous-groupe fermé de G dont l’algèbre de Lie est de la forme 
ÿ=n/fg; pe, une représentation holomorphe de dimension 1 
de n donnée par la formule 


p(X)=2m(Fr, X), FE, (1) 


et U est une représentation unitaire de dimension 1 de Æ qui, dans 
un voisinage de l'unité, est de la forme 


U (exp X) == er(#), (2) 


Nous dirons qu'à la représentation T correspond l'orbite Q du 
croupe G dans g* qui passe par le point F. 

Examinons la possibilité du passage inverse: de l'orbite à la 
représentation. 

Nous supposerons le groupe G connexe et simplement connexe. 
Soit Q l’une des orbites du groupe G dans g*. Choisissons dans Q 
un point quelconque F et notons G son stabilisateur dans G et 9x» 
l'algèbre de Lie du groupe G;. Comme nous l’avons vu dans 15.1, 
gF Coïincide avec le noyau de la forme bilinéaire antisymétrique 


Br(X,Y) =(FIX, Y)h. (3) 


Nous appellerons la sous-algèbre n € g subordonnée à la forme 
F Eg*, si la forme B; est identiquement nulle sur n. Cette défi- 
nition est également valable pour les sous-algèbres complexes de g,, 
si l’on suppose que la forme B; se prolonge sur g, par linéarité. 
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Problème 1. Démontrer que la sous-algèbre n est subordonnée à F, 
si et seulement si l’application 


Xr (F, X) 


est une représentation de dimension 1 de l’algèbre de Lie n. 


De l’énoncé du problème et de l’égalité (1) il s'ensuit que la sous- 
algèbre n de la définition de la représentation T' est subordonnée 
à F. 


Problème 2. Démontrer que la codimension dans g (respectivement, 
la codimension complexe dans g.) de la sous-algèbre réelle n € g (respective- 
ment, la sous-algèbre complexe n € gc), subordonnée à la forme F € g*, n’est 
pas plus petite que la moitié de la dimension de la G-orbite Q dans g* qui passe 
par le point 7. 

Indication. Dansqg. la codimension du sous-espace isotrope maximal 
pour BF est égale à 


1/2 rang Br —1/2 (dim g— dim gr) —1/2 dim Q. 


Il se trouve que, dans tous les cas connus, lorsque la sous-algèbre 
n est liée à la représentation irréductible T du groupe G, la borne 
inférieure indiquée au problème 2 s'avère atteinte, c’est-à-dire 


codim n = 1/2 dim Q, (4) 


et, en outre, la sous-algèbre n possède la propriété suivante (dite 
la propriété de Poukanski: cf. p. 280): 


F+nicQ, (9} 


où nl est l’annulateur de n dans g* (c’est-à-dire l’ensemble de 
toutes les formes F € g*, dont les prolongements à g. s’annulent 
sur HN). 


. Géométriquement, la condition (5) signifie que l'orbite Q contient, avec le 
point F, la sous-variété linéaire p-1 (pF), où p est la projection naturelle de g* 
sur n*. 


Appelons la sous-algèbre n subordonnée à F admissible si elle 
possède les propriétés (4) et (5). 


Problème 3. Démontrer que si pour la forme F € Q il existe une sous- 
algèbre réelle (respectivement complexe) admissible, tous les autres points de Q& 
possèdent cette propriété. 

Indication. Sinest une sous-algèbre admissible pour F, Ad gn est 
une sous-algèbre admissible pour X (g) F. 


Ainsi, l'existence des sous-algèbres admissibles pour F € g* est 
une propriété de l'orbite contenant #. Les sous-algèbres admissi- 
bles n'existent pas toujours. 
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Soient Sp (2 + 2,R) le groupe simplectique (voir 5.1) et 
G = St(n, R) son sous-groupe qui laisse sur place un vecteur non 
nul dans R**?, L'algèbre de Lie g — ft (nr, R) de ce groupe peut 
être réalisée par les matrices de la forme 


0 Ë’ c 
X (A, 6, c) — (c A Jz). (6) 
000 


où AE jp (2r, R), Ë € R?", cER et J est de la forme [0 1»). 
Posons 


Fi (X (4, Ë,c)) = Xe, LER. 


Alors, pour À Æ 0 il n’existe pas de sous-algèbre admissible de g,, 
subordonnée à #,. En effet, la forme B Fr, S'écrit 


Br, (À (A1, 64, C4), X (42, 6) C2)) = 2hË JE (7) 


et, par conséquent, le sous-espace g Fr, CSt défini par la condition 


E = 0. 


Problème 4. Démontrer que chaque sous-espace isotrope maximal n 
pour BF) dans g. se compose d'éléments de la forme 


X (4, 6, c), À E8p (2n, C), ÉEV, cEc, (8) 
où V est un certain sous-espace de C2? de dimension nr, isotrope par rapport à 


à la forme à matrice J. 
Indication. Utiliser la formule (7). 


Vu que le groupe Sp (2n, R) et son algèbre de Lie {p(2n, R) 
ont une action irréductible dans C??, aucun des sous-espaces (8) ne sera 
une sous-algèbre. 


Le groupe St(n, R), qui figure dans l'exemple ci-dessus, est un groupe de 
type général. Il possède un sous-groupe invariant résoluble N (n) appelé groupe 
de Heisenberg ou groupe spécial nilpotent et un sous-groupe supplémentaire semi- 
D isomorphe à Sp (2r, R). Il est intéressant de noter que pour les groupes 


résolubles et semi-simples les sous-algèbres admissibles complexes existent 
toujours. 


Une construction simple d’une sous-algèbre admissible fut 


proposée par M. Vergne !). Cette construction est basée sur le fait 
suivant : 


Problème 5. Soits:0=V, eV, &...cV, = V unesuite d’es- 


paces vectoriels, tels que dim V, = k. Supposons que V soit muni d’une forme B 
bilinéaire antisymètrique et B, désigne la restriction de B à V,. Alors W (s, B) — 
nr 


_ > ker B, est un sous-espace de Y maximal isotrope pour la forme B. 
R=1 


1) C. r. Acad. Sci. Paris, 270, 173-175, 704-707. 
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Indication. Démontrer par récurrence que |rang B; — rang 
Bp+41 | = 1, et démontrer par récurrence que W(s, B) N Vr = W (sx, BR). 

Problème 6. Démontrer que si V est une algèbre de Lie, les sous- 
espaces V,, k = 1, ..., n, sont des idéaux de V et la forme B s’écrit comme 
dans (3), alors W (s, B) est une sous-algèbre de Y. 


Enonçons sans démonstration le résultat suivant de M. Vergne. 

Théorème 1. Soit G un groupe de Lie réel résoluble connexe, 
et 4 son algèbre de Lie. Pour chaque forme F € g* on peut alors indi- 
quer une sous-algèbre complexe admissible n € g., qui possède les 
propriétés 

{)n=Wits, B,;) pour une certaine suite s d'idéaux dans g.; 

2) nest invariante par rapport au stabilisateur GK du point F'; 

3) n + n est une sous-algèbre de g.; 

4) si test un radical nilpotent de g, alors n (| t.est une sous-algèbre 
admissible subordonnée à la forme f = F |r; 

9) si G est un groupe exponentiel, n sera l'enveloppe complexe 
d'une certaine sous-algèbre réelle admissible ÿ € g de la forme ÿ = 
— W (ss, Br), où s, est une certaine suite de sous-algèbres de à. 

Revenons au problème de la construction d’une représentation 
d'après l'orbite. 

Nous supposons que, pour l'élément F de l'orbite Q, il existe 
une sous-algèbre n € g. possédant les propriétés (2) et (3) du théo- 
rème 1. Nous supposons également qu'il existe des sous-groupes fer- 
més H et M dans G, tels que Gr € H € M et l’on a les relations 


nNn=t%, ntn=m, H=GrH, (9) 


où ÿ et m sont les algèbres de Lie des groupes Æ et M respective- 
ment et H° la composante connexe de l'unité du groupe Æ. 

Pour construire une représentation 7 conformément au numé- 
ro 13.4, nous devons avoir une représentation p de l'algèbre n et 
une représentation U du groupe 7, liées par l'identité 


U (exp X)—ert#), X Et. (10) 


Pour p prenons la représentation donnée par l'égalité (1). La 
formule (10) définit alors U dans un certain voisinage de l'unité du 
groupe À. La question d'existence et d’unicité du prolongement de U 
à tout le groupe Æ se pose donc naturellement. Il se trouve que la 
réponse à cette question dépend des propriétés topologiques de l’or- 
bite Q. Pour énoncer le résultat exact, introduisons quelques nota- 
tions. Appelons fibre passant par le point origine F l’ensemble S 
des formes 


Problème 7. Démontrer que pour g,, g,; € G quelconques, les ensem- 
bles X (£:) S et K (g:) S sont disjoints ou bien coïncident. 
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Indication. Utiliser le fait que gg! — H pour g € Gp. 

Nous obtenons ainsi la décomposition de l'orbite Q en ibres de la forme 
K (@) S. Notons Ÿ l’espace quotient correspondant et T le groupe fondamen- 
tal 7x; (Y) 


Appelons entière l'orbite Q du groupe G dans g*, si la forme B, 
appartient à une classe de cohomologie à coefficients entiers. (Cela 
veut dire que l'intégrale de la forme B, sur chaque cycle de dimen- 
sion 2 dans Q est égale à un nombre entier.) 

Théorème 2. Pour qu'une représentation donnée localement 
par l'égalité (10) se prolonge à une représentation unitaire de dimension 1 
du groupe H, il faut que l'orbite S passant par le point F € g* soit 
entière. 

L'ensemble des prolongements possibles, s'il n'est pas vide, est 
paramétrisé par les caractères du groupe T' introduit ci-dessus. 

Démonstration. Utilisons les relations bien connues entre 
les propriétés topologiques du groupe de Lie G, de son sous-groupe 
fermé X et de la variété homogène X — G/X. Si le groupe G est con- 
nexe et simplement connexe, alors on a les isomorphismes 


H'(X,R)= H'(K,R), (11} 
TU (X) & To (K) = K/KT. (12) 


En termes des formes différentielles, l’isomorphisme (11) peut 
être décrit de la manière suivante : soient p la projection naturelle 
de G sur X et B la forme différentielle sur X appartenant à la classe 
hEH?(X,R). Alors, la forme p*B sur G s’écrira p*B — do (car 
pour un groupe de Lie simplement connexe Æ?(G, R)—0). La 1- 
forme o sur G est définie par cette condition à un terme additii 


de la forme df, f EC°”(G) près. On peut vérifier que la restriction 6, 
de la forme o au sous-groupe X° est une forme fermée. La classe de 
cohomologies de cette restriction sera justement l’élément du groupe 
H*(X9, R), qui correspond à la classe donnée h. 


Problème 8. Démontrer que, dans le cas où K = G}, X = Q, B — 
— BQ, on peut choisir, pour 6,,.la 1-forme invariante à gauche de GR Corres- 


pondant à la forme linéaire 7 |g 
In d ication. Utiliser FE formule (7) de 15.1. 


La première assertion du théorème découle maintenant du fait 
que l’isomorphisme (11) transforme les classes de cohomologie 
entières en classes de cohomologie entières. En effet, l’énoncé du 
problème 8 nous montre que si la représentation locale (10) admet 
un prolongement f au sous-groupe Gÿ, alors la forme o, s'écrit 


O0 me — d In f. (13) 


D 
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Par conséquent, l'intégrale de la forme 6, sur chaque cycle de dimen- 
sion 4 dans G% est égale à un nombre entier (à savoir, à l’accroisse- 
ment divisé par 2n de l’argument de f lorsqu'on contourne ce cycle). 
Inversement, si la forme ©, appartient à une classe entière, la fonc- 
tion jf, définie sur G% par l'égalité (13) et la condition f (e) = 1, 
sera le prolongement de la représentation locale (10) au sous-groupe 
GY. 

Démontrons la deuxième assertion du théorème. Vu que la 
représentation d'un groupe de Lie connexe se définit d’une façon 
unique par la représentation locale correspondante, deux prolonge- 
ments quelconques coïncident alors sur H°. Tous les prolongements 
s'obtiennent donc d’un seul en le multipliant par un caractère du 
groupe H/H9. L'espace des « fibres » Y introduit plus haut sera une 
variété homogène à groupe d’isométrie G et à sous-groupe station- 
naire H. L’isomorphisme (11) pour le cas À — H, À — Y nous donne 
l'égalité x, (Y) = x (H) — H/H9. Le théorème est ainsi démontré. 

Remarque 1. Si l’ensemble S — ÆX (H)F, introduit ci- 
dessus, est simplement connexe, alors le théorème 2 admet les pré- 
cisions utiles suivantes. 

1. Le fait qu’une orbite est entière n’est pas seulement néces- 
saire, mais aussi suffisant pour l’existence d’un prolongement de 
la représentation locale (10) à une autre représentation de dimension 1 
de H. 

2. Le groupe l qui figure dans la deuxième partie du théorème 
est isomorphe au groupe fondamental de l'orbite ©. 

Remarque 2. En géométrie différentielle il existe également 
une autre démonstration du théorème 2 fondée sur l'interprétation 
de la forme B, comme forme de courbure d’une certaine connexion 
affine dans le fibré linéaire sur ©. Pour cette démonstration voir 
le travail de B. Kostant [110] (voir également 15.4). 

Il nous reste à étudier la dépendance de la représentation cons- 
truite du choix du point F sur l'orbite Q et du choix de la sous- 
algèbre admissible n subordonnée à 7. 


Problème 9. Démontrer que les représentations 7, construites d’après 
les formes F;, les sous-algèbres n;, les sous-groupes FH; et les représentations de 
dimension 1 p; ct U;, i = 1, 2, sont équivalentes si 

Fi = K(g) Fes 1 = Ad ge, Hi = gH:g À, 
P1 (X) = pe (Ad gX), Us (h) = Us (gThe) 
pour un certain gEG. 


Indication. Considérer l’automorphisme interne du groupe G cor- 
respondant à l'élément g. 


Ainsi, le choix du point F est ici sans importance. 
De toute apparence la classe d'équivalence de la représentation 
obtenue ne dépend pas du choix de la sous-algèbre admissible. 
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Bien que cette affrimation ne soit pas démontrée dans le cas général, 
elle ne contredit non plus aucun des exemples actuellement connus. 
Dans le numéro suivant nous citerons certaines considérations « phy- 
siques » qui plaident en sa faveur. 

On n’a pas démontré jusqu’à présent que la construction décrite 
amène toujours à une représentation irréductible (là aussi il n’y a pas 
encore de contre-exemple). 

Pour des classes de groupes particulières on a des résultats plus 
précis. 

Théorème 3(B. Kostant-L. Auslender). Soit G 
un groupe de Lie connexe simplement connexe résoluble. Alors: 

1) Le groupe G appartient au type I si et seulement si l'espace 
O (G) est semi-séparé et toutes les formes BA sont exactes. 

2) Si G est de type I, alors toutes les représentations irréductibles 
de G s’obtiennent par la construction décrite ci-dessus à partir des 
orbites du groupe G dans g*. À chaque orbite 2 correspond une famille 
de représentations irréductibles paramétrisée par les caractères du 
groupe 7 (Q). 

3. Les représentations correspondant à des.orbites différentes ou à 
des caractères différents du groupe fondamental de l'orbite ne sont 
pas équivalentes deux à deux. 

Il est à remarquer que si le groupe G est exponentiel, toutes les 
G-orbites de g* sont homéomorphes à un espace euclidien. Par 
conséquent, du théorème 3 il découle en particulier que les groupes 
exponentiaux appartiennent au type Î et qu'il existe, pour ces 


groupes, une bijection entre les ensembles G et O(G). 

Si le groupe G est compact, connexe et simplement connexe, 
les G-orbites dans g* sont alors simplement connexes. La condition 
d’entièreté définit dans © (G) un ensemble dénombrable d’orbites. 
On a le 

Théorème 4. (A. Borel-A. Weyl-R.Bott). Toutes 
les représentations irréductibles d’un groupe de Lie compact, connexe, 
simplement connexe G correspondent aux G-orbites entières de dimen- 
sion maximale dans g* !). 

Notons également que les représentations des séries principales 
et dégénérées des groupes non compacts semi-simples correspondent 
aux orbites entières de ces groupes dans leur X-représentation. 
On ne sait pas encore d’une manière définitive si elles sont irréduc- 
tibles. 

‘ Le problème de liaison des topologies dans les ensembles G 
et © (G) est de l'intérêt particulier. Elle n’est résolue que partielle- 
ment, même dans le cas des groupes exponentiaux (on sait précisé- 


ment que l'application de © (G) dans G est continue). 


1) Nous énonçons ce théorème sous une forme utile par la suite. Pour plus 
de détails voir [105], [107]. 
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15.4. Méthode des orbites et quantification des systèmes méca- 
niques hamiltoniens. L'objet fondamental étudié en mécanique 
classique hamiltonienne est l’espace des phases, i. e. une variété dif- 
férenciable simplectique M. En général, elle se construit comme 
fibré cotangent sur l’espace des configurations NW (voir 15.2), quoique 
pour le formalisme hamiltonien ce ne soit pas nécessaire. 

Les grandeurs physiques sont des fonctions réelles sur M, l’état 
du système est un point de M. La variation du système dans le 
temps se décrit par un champ de vecteurs strictement hamiltonien, 
dont la fonction génératrice s'appelle énergie du système et se 
note H. Par conséquent, l'équation qui décrit la variation dans le 
temps de la grandeur F est de la forme 


F = {H,F}. (1) 


Le groupe G sera le groupe de symétrie du système donné, s’il 
agit sur M par transformations canoniques. 

En mécanique quantique le rôle de l’espace des phases revient 
à l’espace projectif P (V), où V est un certain espace hilbertien. 
Les grandeurs physiques sont des opérateurs autoadjoints dans Y. 
La valeur de la grandeur À pour un état défini par un vecteur unité 
ë € V est une variable aléatoire à fonction de distribution p ({) = 
— (F,6, Ë), où £, est une mesure spectrale projetante pour l’opé- 
rateur À. Par conséquent, dans un état défini par le vecteur Ë, une 
valeur concrète a ne sera attribuée qu’à celles des grandeurs À, 
pour lesquelles £ est un vecteur propre à valeur propre a. 

La variation du système dans le temps est donnée par un groupe 
d'opérateurs unitaires dans V qui s’écrivent sous la forme 

pith 


U (t)=e2x 


où À est la constante de Planck et Æ un certain opérateur auto- 
adjoint que l’on appelle opérateur d'énergie. La variation de la gran- 
deur F dans le temps se décrit par l’équation 


* ih 
F= IA, FI. (2) 


Le groupe G sera le groupe de symétrie du système s’il agit sur V 
par représentations unitaires. 

On appelle quantification le procédé permettant de construire 
un système quantique correspondant au système classique donné. 
Malheureusement, le terme « correspondant » n’a pas ici de signi- 
fication précise. Puisque la mécanique classique est, dans un certain 
sens, l’idéalisation (obtenue par passage à la limite quand k — O0), 
de la mécanique quantique, il n’existe de toute apparence pas de 
procédé de quantification unique. Néanmoins, dans les situations 
« suffisamment favorables » (par exemple, dans le cas des groupes), 
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on peut s'attendre à ce que le résultat définitif ne dépende pas du 
choix de la manière de quantifier. 

La majorité des méthodes de quantification connues s'inscrivent 
bien dans le schéma suivant. Parmi les grandeurs physiques liées 
au système on choisit un certain ensemble de grandeurs premières 
qui forment une algèbre de Lie par rapport au produit de Poisson. 
On suppose que lors du passage à la mécanique quantique les rela- 
tions de commutation entre les grandeurs premières restent inva- 
riables dans le sens suivant. Soit À la constante de Planck et Fun 
opérateur de mécanique quantique correspondant à la grandeur clas- 
sique première F. Alors, nous devons avoir la relation 


he is es. 
(Fi, Fo}= 5 Ur, Pol. (3) 


Cela signifie que l'application F Th est une représentation 
opératoire de l’algèbre de Lie des grandeurs premières. Il est usuel 


d'inclure dans l’ensemble des grandeurs premières les constantes 
et de supposer vérifiée la relation 


À = 1 (opérateur identique). (4) 


Dans les systèmes du type d’un fibré cotangent, on prend pour 
les grandeurs premières l’ensemble des fonctions linéaires des coor- 
données p1, ..., pr et les fonctions quelconques de gq,, ..., qn. 

Les autres grandeurs s'écrivent sous forme de fonctions des 
grandeurs premières. Leurs analogues quantiques s'avèrent alors 
des fonctions des variables opératoires (non commutatives). Parlois 
on peut attribuer à ces expressions une certaine signification. Dans 
ce cas, on dit que la grandeur correspondante admet une quantifi- 
cation. 

Pour construire une représentation de l’algèbre de Lie des gran- 
deurs premières, il est naturel d'utiliser le fait que l'application 
Fi €} (voir 15.3) est une représentation de l’algèbre de Lie C° (M) 
de toutes les fonctions différenciables sur M (par rapport au produit 


: 2 A h . 
de Poisson). Par conséquent, en posant F# — = Er, nous obtiendrons 


les relations (3). Pour avoir aussi la relation (4), corrigeons un peu 
la définition de F en posant 


FT Ep + F +0 (Er), (5) 


où @& est une certaine 1-forme. Nous avons donc (4), mais la rela- 
tion (3) peut maintenant ne pas avoir lieu. 
Problème 1. Pour que les opérateurs À, définis par la formule (5), 
satisfassent à la relation (3), il faut ct il suffit que l’on ait: 
da — «w. (6) 
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Indication. Utiliser l’égalité qui découle de la formule (4) dans 5.3 


2da (Ë1s 62) = 610 (62) — Ë20 (E1) — @ ([E1 Éol). 
Remarquons que, dans le cas d’un fibré cotangent, on peut 


k 
prendre pour @œ la forme > p;dg;. La formule (5) s'écrira alors 
j=1 


k k 
& 10 06F 9 06F 9 0F 
pa (—) Pad 5’ 
Ta 2) Ôp; 09;  0qj 6p; L 2 Pi 0pj QE 
2—= = 
En particulier, 
= ih 0 . ik 0 
Pi Zn 0q;? D on VAR (7) 


Il se trouve que, dans le cas d’une forme © non exacte, la générali- 
sation de la construction décrite ci-dessus, amène naturellement 
à considérer un certain fibré £ de dimension 1 sur M. Les opéra- 
teurs À agissent alors dans l'espace T'(E) des sections de ce fibré. 

Pour construire Æ, choisissons un recouvrement de M par des 
ensembles VU; suffisamment petits et tels que ces ensembles et leurs 
intersections deux à deux sont connexes et simplement connexes. 

Vu que © est une forme fermée, dans chaque voisinage UV; elle 
prend la forme da;, où @&; est une certaine 1-forme de U;. Deux 
1-formes a; et «à; sont définies sur l'intersection VU; NN U,. Vu que 
da; = © = da}, la différence a; — a; est fermée et, par conséquent, 
s'écrit 

Aj— Or = dar, 


où a;, est une certaine fonction sur U; f) Uz. 
Posons 
2nia :1/ÀR 
gin=e  , 
alors les opérateurs 


= Er+F+ a (&r) 


possèdent sur l'intersection VU; AN U, la propriété 
emo =E og (8) 

Supposons que les fonctions g;, satisfassent aux conditions 
g;; = 1 dansÜ;, g;rgr; = 1 dans lits @) 
Ljrgngr = 1 dans U;NUzfN Ur. 


Alors, on peut les prendre pour fonctions de transition pour cons- 
truire un fibré de dimension 1 Æ sur M (voir 5.4). L'espace de ce 


18—0361 
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fibré s'obtient en collant les ensembles Ü; — U; x C par la rela- 
tion d'équivalence 


Ü;3 (z;, 2j) — (tr, 2x) € Ü, > Lj = Tps 2j = Ljn (Lx) Zn. 


Rappelons que la section du fibré Æ se définit par une famille de 
fonctions ; sur U; qui possèdent la propriété 


P (x) = gjr (x) Pa (x) pour xEU;NUXz. (10) 


L'ensemble des sections différenciables de Æ forme un espace vec- 
toriel l'(Æ) et les opérateurs 


Pr {os} —+ {Foi} (11) 


donnent, d’après (8), une représentation de l’algèbre de Lie C°” (M) 
dans l'(£). 

Essayons maintenant de voir sous quelles conditions la rela- 
tion (9) est satisfaite et combien de différentes représentations on 
peut construire à partir de la forme donnée par le procédé ci-dessus. 

Théorème 1. Pour qu’à la forme & corresponde au moins un 
fibré EF, il faut et il suffit que l'intégrale de la forme © soit un multiple 
entier du nombre h sur chaque cycle de dimension 2. 

(Cet énoncé est l’expression mathématique des conditions d’en- 
tièreté propres à la mécanique quantique.) 

Démonstration. Considérons la fonction c;;y = ajr + 
+ an + a définie dans VU; A U, N U;:. D'après la définition des 
fonctions a;,, on peut dire que dcyxy = 0, c'est-à-dire que c;41 est 
une constante. Vu que toutes les a;; ne sont définies qu’à une cons- 
tante additive près, les grandeurs c;;, sont définies à une constante 
additive de la forme c;; + Chi À Cu près. Nous avons ainsi obtenu 
un cocycle appelé cocycle de Cech sur la variété M (par rapport au 
recouvrement {U;}), défini à un cocycle cohomologique à zéro près. 
Nous avons donc un certain élément du groupe de cohomologie 
H? (M, C). En topologie algébrique on démontre que c’est juste- 
ment l'élément qui correspond à la forme ©. Par conséquent, la 
condition du théorème équivaut à l'hypothèse que toutes les grandeurs 
cju peuvent être choisies comme multiples de h. Mais ceci est à son 
tour équivalent aux relations (9). Le théorème est démontré. 

Examinons maintenant le problème suivant, à savoir: à quel 
point la construction des représentations dans l’espace des sections 
T(E) du fibré E est-elle arbitraire, si l’on connaît a priori qu'un tel 
fibré existe. 

Problème 2. Démontrer qu’il existe une bijcction entre les classes 
des PU équivalentes et les éléments du groupe de cohomologie 
” Ta d : ation. Notre construction dépendait du choix de la forme a; 
et des fonctions a;,. Au lieu de la forme «; on peut prendre la forme a; + f;, 
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où B; est une forme fermée quelconque. Soient B; — db; et h; — e2mib;/h, Quand 
on passe de a; à a; + B;, les fonctions de transition g;, se transforment en 


gjrh;hpt. Ceci équivaut à remplacer le fibré £ par un fibré équivalent £, et la 
représentation Êp par une représentation équivalente Êg = hoË _oh"1, [Les 


isomorphismes de F(£E) et de T(Ë) s’établissent par l'application »: {p;} — 
— {h;p;}]. La liberté du choix des fonctions a;, permet de remplacer les fonc- 
tions g;, par les fonctions g; -2j, où les z;, sont des nombres complexes quelcon- 
ques non nuls. Ces nombres satisiont à la condition z;24 21; —1 découlant de (9). 
En outre, les familles {z;,} et {z;, } définissent les représentations équivalentes, 
Si 2: — zjnWjw "À. 
Notons que le groupe H!'(M, C*) est isomorphe au groupe de 
toutes les applications multiplicatives du groupe fondamental 
1 (M) dans le groupe C* des nombres complexes non nuls. 

En particulier, si M est simplement connexe, ce groupe est 
trivial. 

Jusqu'ici, nous n'avons rien dit de l’espace dans lequel agis- 


sent les opérateurs À. Cet espace doit être hilbertien, et les opéra- 


teurs À, pour les grandeurs réelles F, doivent être auto-adjoints. 
En outre, nous nous intéressons aux systèmes élémentaires, pour 


lesquels la famille des opérateurs F est irréductible. L'espace T(E) 
de toutes les sections du fibré £ est trop large pour obtenir une repré- 
sentation irréductible. Le calcul des dimensions montre que les 
représentations irréductibles doivent agir dans un espace de fonctions 
(ou de sections d’un fibré) sur une variété de dimension deux fois 
moindre que celle de M. | 

Dans le cas où M = T*N pour la quantification usuelle on 
utilise l’espace V=—L'{(N), où les fonctions sur M dépendant seule- 
ment de la projection sur NW (c’est-à-dire les fonctions des coordon- 
nées g;) agissent par multiplication usuelle et les fonctions sur M, 
linéaires par rapport aux coordonnées p;, agissent comme des champs 
de vecteurs (c’est-à-dire comme opérateurs différentiels d'ordre un). 

On sait que localement chaque 2-forme fermée non dégénérée & 


s'écrit dans des coordonnées appropriées © — d'dp; A dg;. Malheu- 


J 
reusement, une telle « séparation des variables » en « p» et «go» 
peut ne pas exister globalement. Du point de vue géométrique, cette 
séparation des variables consiste à désigner ce que l’on appelle une 
distribution lagrangienne, c'est-à-dire à choisir pour chaque point. 
x € M un sous-espace L, € T,M de dimension deux fois moindre 
sur lequel la forme © s’annule. Du point de vue analytique cela 
veut dire que l’on a choisi dans chaque voisinage U © M une cer- 
taine sous-algèbre maximale commutative P, (U) dans l'algèbre de 
Lie P (U) de toutes les fonctions différenciables sur U (par rapport 
au produit de Poisson). La liaison entre ces deux points de vue est 
assurée par le théorème de Frobenius qui affirme que chaque distri- 
bution lagrangienne satisfaisant à certaines conditions d’intégra- 


18* 
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bilité se met, dans des coordonnées locales appropriées, sous la 
forme cie, te ue 
Pi OPr 

sont tangents aux surfaces de valeur constante d’une fonction quel- 
conque des coordonnées q,, . .., Qn. 

Ainsi, dans le cas général, on peut remplacer la séparation glo- 
bale des variables en p; et g; par une certaine distribution lagran- 
gienne intégrable Z sur M. Si une telle distribution est donnée. 
nous pouvons considérer, dans chaque voisinage U € M, l’algèbre 
P, (U) des fonctions annulées par les vecteurs de L. Si le voisinage U 
est suffisamment petit, P,(U) sera la sous-algèbre commutative 
maximale de P (U). Notons l',(E, U) l’espace des sections @ du 
fibré E sur U pour lesquelles 


Fe®=Fp pour Fc P,(U) (12) 


et l’, (Æ) l’espace des sections du fibré Æ sur M, dont les restrictions 
à un voisinage quelconque U appartiennent à [',(£, U). 


k Cela signifie que les vecteurs de Z, 


Pour le lecteur qui s’est déjà familiarisé avec la notion de connexion affine 
dans un fibré, remarquons que l', (Æ) peut être défini comme l’espace des sections 
annulées par différentiation covariante le long de chaque vecteur de Z. En effet, 


l'opérateur À — F possède toutes les propriétés d’une dérivée covariante le long 
du camp Ëêp. 


Supposons que pour toutes les grandeurs premières F, les opéra- 
teurs F£ appliquent l’espace l, (E) dans lui-même (cela équivaut 
à la condition {F, P, (U)} & P,(U) pour un voisinage quelcon- 
que U) et, pour des F réels, sont auto-adjoints par rapport à un 
certain produit scalaire dans [', (Æ). 

On peut alors prendre pour V le complété de T,(Æ) pour ce 
produit scalaire. 

Une généralisation importante de la construction décrite s’ob- 
tient si l’on effectue un « passage dans le domaine complexe » et 
l’on donne une distribution lagrangienne Z de manière que ZL, soit 
un sous-espace de dimension deux fois moindre dans l'enveloppe 
complexe de l’espace T,M. Il s'avère que chaque distribution la- 
grangienne complexe intégrable, qui satisfait à la condition supplé- 
mentaire d'après laquelle L + ZL est une distribution intégrable, 
prend la forme locale suivante. Il existe un système de coordonnées 
locales 


us + + +s rs Pis os + +9 Pro 215 + + +5 Zh-rs 
où p;, g; sont réelles, z; sont complexes, telles que la forme © s'écrit 
n _R=r 
o= Ÿ dp; \dgi ++ Ÿ, dzj/\di; 


j=1 3—=1 
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et L est engendré par les vecteurs 


Ô Ô Ô Ô 
pi 9 OP , 82: ...,), pr 


P,(U) se compose dans ce cas de fonctions des variables 

..s rs is + + +, ZR- analytiques par rapport aux variables z;. 
Dee l,(£) peut être interprété comme l’espace des sections 
constantes le long d’une certaine direction réelle et analytiques le 
long de certaines directions complexes. 


Une généralisation encore plus poussée de cette construction est également 
possible ; elle consiste à passer de l°, (£) aux espaces des cohomologies de dimen- 
sions supérieures d'un faisceau des germes des sections de T, (£). Voir à ce sujet 
[107], [121], [128]. 


Rappelons maintenant que pour chaque forme © sur M qui 
satisfait aux conditions d'’entièreté du théorème 1, nous avons 
construit toute une famille de représentations Fx, indexées par les 
éléments du groupe A1 (M, C*). Si la famille {y;} donne une section 
du fibré Æ, alors la famille {| @; |[?} donnera la section d’un autre 
fibré E” sur M (à fonctions de transition g;, = | g;, |?). En général, 
le produit scalaire s’introduit dans l,(Æ) de manière à ce que le 
carré scalaire de la section {o;} ne dépende que de la section 
{| o; À} du fibré £”. 

Par conséquent, si le produit scalaire cherché existe pour F», 
il existe alors pour toutes les représentations qui s’obtiennent de 
Fg par l’action du sous-groupe H* (M, T). Il y a des raisons pour 
croire (c’est d’ailleurs démontré dans un grand nombre de cas parti- 
culiers) que pour les autres fibrés il n’existe pas de produit scalaire 
du type décrit. En supposant ce fait démontré, nous avons obtenu 
l’assertion suivante. 

Théorème 2. Un système classique (M, ©) admet une quanti- 
fication du type décrit si et seulement si la forme & a des intégrales 
égales à des multiples de h sur chaque cycle de dimension 2 sur M. 
Toutes ces quantifications sont indexées par les éléments du groupe 
H1 (M, T). 

Remarquons que le groupe H (M, T) coïncide avec le groupe 
des caractères (c’est-à-dire des applications multiplicatives dans 
le cercle T) du groupe fondamental x, (M) de la variété M. 

Soit G un groupe de Lie. La question se pose de savoir quelles 
représentations de ce groupe s’obtiennent par quantification à 
partir des systèmes classiques G-élémentaires, énumérés dans 15.2. 
Nous ne considérons que les quantifications dont les grandeurs 
premières contiennent les fonctions génératrices des champs de 
vecteurs correspondant aux éléments de l’algèbre de Lie g. Si cette 
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condition est satisfaite, nous pourrons construire la représentation 
de G en posant 


T (exp X)=e-2mi£/h 


où exp est l’application canonique de l’algèbre de Lie dans le groupe 
correspondant (l’exponentielle). La relation (3) et la condition que 


les opérateurs X soient auto-adjoints assurent l'égalité 
T (g182) = T (g1)-T (82) 


et le fait que les opérateurs T (g) sont unitaires dans un certain 
voisinage de l’unité. Cette représentation « locale » se prolonge d’une 
façon unique à une représentation du groupe G si celui-ci est simple- 
ment connexe. Dans le cas contraire, on obtient une « représenta- 
tion à valeurs multiples » qui sera univoque sur le revêtement uni- 


versel G du groupe G. 

D'après 15.2 on voit que tous les systèmes classiques qui nous 
intéressent sont des orbites entières Q dans g*. 

Soit Q une telle orbite et £ un fibré sur Q. Pour construire l’espa- 
ce l',(Æ), invariant par rapport à G, nous devons choisir une distri- 
bution lagrangienne intégrable Z G-invariante sur Q. 

Ces distributions admettent une interprétation fort simple. 


Problème 3. Supposons ® € Q et dim Q — 2x. Il existe une bijection 
entre les distributions lagrangiennes réelles (respectivement complexes), inté- 
grables, G-invariantes sur Q et Les sous-algèbres de codimension 4 dans g (res- 
pectivement gc), subordonnées à œ 

Indication. La correspondance cherchée entre les distributions Z et 
les sous-algèbres ÿ s'établit par la formule 


Lo — P (U), 


où p est la projection naturelle de g (respectivement gc) sur ToQ = g/gy 
(respectivement sur l’enveloppe complexe de T,Q) définie par l’action de G 


sur (2. 
Le fait que ZL est lagrangienne équivaut au fait que ÿ est subordonné à la 


forme o et l’intégrabilité de Z au fait que ÿ est une sous-algèbre. 


Le lecteur a déjà remarqué l’analogie de l'opération de quanti- 
fication avec la construction décrite dans le numéro précédent d’une 
représentation à partir d’une orbite. 

L'interprétation mécanique ci-dessus permet de donner une 
« signification physique » à la construction d’une représentation à 
partir de l'orbite, décrite dans 15.3. En outre, elle permet d'utiliser 
dans la théorie des représentations d’autres méthodes de la mécani- 
que quantique. Il serait particulièrement intéressant, par exemple, 
d'obtenir à l’aide de l'appareil des intégrales de Feinman une démons- 
tration directe de la formule universelle (®) pour les caractères 
des représentations irréductibles (voir plus loin 15.6). Pour les 
exemples les plus simples une telle démonstration a déjà été obtenue. 


$ 15. MÉTHODE DES ORBITES 279 


15.5. Propriétés fonctorielles de la correspondance entre. les 
orbites et les représentations. Supposons, comme toujours, que G 
soit un groupe de Lie connexe, simplement connexe, et Æ son sous- 
groupe fermé. Les deux problèmes suivants jouent un rôle important 
dans la théorie des représentations. 

a. Soit 7 une représentation unitaire irréductible du groupe G. 
Trouver la décomposition de sa restriction au sous-groupe Æ en 
composantes irréductibles. 

b. Soit U une représentation unitaire irréductible U du sous- 
groupe À. Trouver la décomposition de la représentation induite 
T = Ind (G, H, U) en composantes irréductibles. 


Ces deux problèmes sont dans un certain sens duaux l’un à l’autre. (Pour 
les groupes finis et compacts cette dualité s'exprime par le théorème de Frobe- 
nius ; voir 13.5). Il est également à noter que les problèmes de décomposition en 
composantes irréductibles du produit tensoriel de deux représentations irré- 
ductibles du groupe G et des représentations qui se réalisent dans les sections 
des G-vibrations sur les espaces homogènes (en particulier, les représentations 
dans les fonctions, dans les champs de vecteurs, dans les formes différentielles, 
etc.) sont des cas particuliers du premier et du second problème respectivement. 


Soit g l’algèbre de Lie de G et ÿ la sous-algèbre qui correspond 
au sous-groupe À. Chaque iorme F € g* peut être restreinte à ÿ. Nous 
obtenons ainsi la projection canonique p: g* —> D*. 

Il est naturel de s'attendre à ce que, dans les cas où il y a une 
correspondance assez « bonne » entre les ensembles G et © (G), les 
opérations considérées (restriction au sous-groupe et induction 
à partir d'un sous-groupe) sont liées à la projection p: g* — D*. 
Mais ces rapports ne sont encore suffisamment étudiés que pour 
les groupes nilpotents. Dans ce cas, nous avons le 

Théorème 1. Soient G un groupe de Lie nilpotent connexe 
et simplement connexe, et H son sous-groupe fermé connexe. Alors 
la construction décrite dans 15.3 établit une bijection entire les ensem- 
bles G et O (G), H et © (AH). 

Si la représentation irréductible unitaire T du groupe G corres- 
pond à l'orbite Q € © (G), alors sa restriction à H se décompose en une 
intégrale directe des représentations irréductibles unitaires du sous- 
groupe H, qui correspondent aux orbites © € O (H) appartenant à 
p (&). 

Si la représentation unitaire irréductible U du sous-groupe H 
correspond à l'orbite © € O(H), alors la représentation induite 
T (G, H, Ü) se décompose en une intégrale directe des représentations 
irréductibles G, qui correspondent à celles des orbites Q € © (G) dont 
l'intersection avec p !(w) n'est pas vide. 


Problème 1. Si le sous-groupe Æ est un sous-groupe invariant de G, 
la dernière condition équivaut alors à l’inclusion Q & p-1 (o). 
Indication. L'ensemble p-! (w) est dans ce cas G-invariant. 
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Supposons que la représentation Ü soit de dimension 1. Alors 
l'orbite correspondante © se compose d’un seul point f Ey*. D’après 


D! 


le théorème 1 appliqué à ce cas particulier, nous avons le 


Corollaire. Pour qu'une représentation monomiale 
T (G, H, U) soit irréductible, il faut et il suffit que l’ensemble p” (f) 
soit entièrement contenu dans une seule G-orbite Q. 

Ainsi, pour la sous-algèbre y et une forme quelconque F € p”t (f) 
on a la condition (5) de 15.8. 

Traçons le schéma de la démonstration du théorème 1. (Le lec- 
teur peut trouver les détails dans [102]). Avant tout, il suffit de dé- 
montrer le théorème dans le cas où le groupe Æ est de codimension 1 
dans G. Le cas général se réduit à celui-ci si l’on considère une suite 
de sous-groupes 


H-H ce ….CHn1icCcH=6G 


dont les dimensions augmentent successivement de l'unité. 

Ensuite, si dim G — dim H = 1, alors À est un sous-groupe 
invariant de G et le groupe G sera le produit semi-direct de H et 
d’un certain sous-groupe S, isomorphe à R. Nous noterons X, l’élé- 
ment de base de l’algèbre de Lie { du groupe S et F, la forme dans 
pL égale à 1 sur X,. 


Problème 2. Soit Q l'orbite du groupe G dans g* et p la projection 
de g* sur ÿ*. Alors les deux cas suivants peuvent se présenter. 

1) L'ensemble «© = p (Q) est une H-orbite dans ÿ* ; l’image réciproque 
p”1 (w) est la réunion d’une famille des G-orbites Q, = Q + #F,,t€ KR. 

2) L'ensemble p (Q) sera la réunion d’une famille ©;, & € R des H-orbites 
dans ÿ*; les images réciproques p-! (w,) sont entièrement contenues dans Q ; 
le groupe S agit dans 9* de sorte que X (exp tX,) @ = @}++. 


Indication. Démontrer que l'intersection de l’orbite Q avec toutes 
les droites de la forme F + ÿ— est formée d’un seul point ou contient entière- 
ment cette droite; ceci découle du fait que l’action de G dansg* s'écrit en coor- 
données canoniques à l’aide de fonctions polynomiales. 


Supposons maintenant que le théorème 1 soit démontré pour 
tous les groupes de dimension <n. Supposons que dim G = n et, 
par conséquent, dim A = n — 1. 

Problème 3. Soit 7 une représentation irréductible du groupe G. 


Deux cas sont alors possibles. 

1. La restriction U de la représentation T à H est une représentation irré- 
ductible de Æ. La représentation Ind (G, H, U) se décompose en une intégrale 
directe des représentations irréductibles T,, & € R dont chacune coïncide avec U 
sur }. 

2. La restriction de T à H se décompose en une intégrale directe des repré- 
sentations irréductibles U;,, t € R, du sous-groupe A. Chacune des représenta- 
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tions Ind (G, H, U;) est équivalente à 7. Le groupe S agit sur U, suivant la 
formule 
U} (exp Xoh exp (—7TX0)) = Ur (h). 


Indication. Utiliser l'hypothèse de récurrence et les résultats de 13.8. 


Utilisant enfin la forme explicite de la correspondance entre 
les orbites et les représentations (à l’aide de la construction de 15.3), 
on peut établir que les deux cas qui figurent dans les conditions du 
problème 2 correspondent exactement aux deux cas du problème 8. 
La démonstration est donc terminée. 

Un problème très intéressant consiste à étudier les propriétés 
fondamentales de la correspondance entre les orbites et les repré- 
sentations pour d’autres classes de groupes. Il est naturel de le 
poser avant tout pour les groupes tels que la correspondance entre 


G et © (G) soit connue (voir théorèmes 3 et 4 dans 15.3). Comme le 
montrent des exemples très simples, le théorème 1 ne peut textuelle- 
ment pas être appliqué à d’autres groupes. Il semble probable que 
le caractère de la correspondance entre les opérations de restriction 
et d’induction, d’une part, et celles de projection, ou de passage à 
l’image réciproque d’une orbite, d’autre part, soit intimement lié 
aux propriétés topologiques de l'orbite Q et de sa décomposition en 
images réciproques des points par la projection p. 


15.6. Formule universelle des caractères et mesures de Plan- 
cherel. Un des problèmes fondamentaux de la théorie des représen- 
tations des groupes est celui de la recherche des formules explicites 
pour les caractères généralisés des représentations irréductibles 
(voir 11.2). 

Il existe aujourd’hui tout un nombre de résultats, dont la forme 
est loin d’être identique pour les types de groupes différents, qui 
donnent la solution de ce problème pour des groupes et des repré- 
sentations concrets, ou même pour des classes entières. La méthode 
des orbites suggère une idée pour obtenir d'emblée la solution de ce 
problème pour tous les groupes de Lie; elle consiste à considérer une 
fonction généralisée 74, sur le groupe de Lie G, définie d’après la 
G-orbite Q dans g* de la manière suivante. 

Soient Ÿ un ensemble ouvert de G recouvert par un système de 
coordonnées canoniques et U son image réciproque dans l'algèbre 
de Lie g. 

Pour ÜU on peut prendre l’ensemble des éléments X € g tels 
que les valeurs propres purement imaginaires de l'opérateur ad X 
(si toutefois elles existent) ne dépassent pas x en valeur absolue. 

En particulier, pour les groupes exponentiaux il n'existe pas 
de valeurs propres purement imaginaires non nulles ; nous pouvons 
donc poser U = g, V = G. 

L'application exp: U — G est un difféomorphisme et permet 
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de transposer les fonctions principales et les fonctions généralisées 
de U à V et inversement. On sait que pour les groupes résolubles, 
compacts et complexes semi-simples, l’ensemble V a un complément 
dans G de mesure nulle. 

Définissons la fonction généralisée Z, sur V en posant 


Ua, P= | (| p(exp X)eritr, 0 4x) Bo (P), (1) 
Q U 


où dX est la mesure de Lebesgue usuelle sur g*, et Ba la mesure 
sur l'orbite Q donnée par la 2k-forme 


—r Be À... /\ Be (k facteurs). (2) 


Il se trouve que la fonction 7, est intimement liée au caractère 
généralisé %, d'une certaine représentation unitaire 7 du groupe G. 
Dans de nombreux cas, la liaison entre ZQ, et %a peut être décrite 
ainsi: il existe une fonction pe € C” (V) invariante par rapport aux 
automorphismes internes, égale à 1 sur l'unité du groupe, non nulle 
sur V et satisfaisant à l'égalité 


Xe — Da Toe (D) 


Nous appellerons cette formule formule universelle des caractères 
ou, brièvement, formule (®). 

Plus exactement, nous dirons que la formule (®) est vérifiée pour 
la représentation T à caractère Ya si l’on a les deux conditions: 

1) pour chaque fonction @ € C;° (G) du domaine des définitions 
du caractère %a l'intégrale suivante converge 


[ (So exp X) pat (exp X)ezxitr, 0 4x) dfo(P) (3) 


9 UÙU 


et sa valeur est égale à (%o, p) = tr T (œp);: 

2) si pour @ € CS (G) l'intégrale (3) converge et l'opérateur T (®) 
est positif, alors ® est contenu dans le domaine de définition de a. 

Si ces conditions sont satisfaites, nous dirons que la représenta- 
tion T' correspond à l'orbite Q et nous la désignerons TQ. La corres- 
pondance entre les orbites et les représentations ainsi introduite 
coïncide de toute apparence avec la correspondance décrite dans 15.3. 
Une démonstration complète de cette hypothèse n’est pas encore 
obtenue. 

Remarquons que la formule (®) met en lumière la nature de la 
fonction généralisée y, qui s’avère intimement liée à la géométrie 
de l'orbite Q. Ainsi, si Q est compacte, xa est alors une fonction 
usuelle différenciable (ce cas correspond à une représentation de 
dimension finie). Si Q est un cylindre, c’est-à-dire contient avec 
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chaque point S la variété linéaire F + L, où L est un sous-espace 
dans g*, alors YA contient les facteurs du type de 6-fonction. En 
particulier, si L — 1 pour une certaine sous-algèbre ÿ € g, alors 
%a est concentré sur exp ÿ. Si l'orbite Q est une sous-variété fermée 
de g*, alors l'intégrale (3) converge pour chaque fonction q € CS” (G). 
Dans le cas contraire, la convergence de cette intégrale s'avère une 
condition nécessaire supplémentaire pour que la fonction @ appar- 
tienne au domaine de définition de %o. 


Cette condition peut souvent être formulée comme suit : la transformation 
de Fourier de la fonction X-+> po (exp X)-1 q (exp X) s’annule sur l’ensemble 


40, le bord de Q (qui coïncide avec le bord de l’adhérence de Q), cf. [105]). 


La formule (®) est également utile pour l'étude de la topologie 


de l’ensemble G et pour sa comparaison avec la topologie de © (G). 

La formule (®) est aujourd’hui vérifiée pour une classe suffisam- 
ment large de représentations. En particulier, cette formule est 
démontrée pour toutes les représentations des groupes compacts 
simplement connexes, exponentiaux, de matrices réelles d'ordre deux, 
des représentations de la série principale des groupes semi-simples 
non-compacts (voir [73], [74], [105], [106], [127)). 

Il s’est avéré que dans le cas des représentations correspondant 
aux orbites de dimension maximale, on peut prendre pour la fonc- 
tion pa une seule fonction universelle 


q (exp À) = det & ad X, (4) 
où nous avons noté © la fonction 
__ sh(#/2) : (t/2)2* 
Tr = À RFO @ 


Un problème très intéressant consiste à déduire la formule (®) 
à partir des considérations « physiques » mentionnées dans 15.4. 
On peut espérer que la méthode de quantification à l’aide d'’inté- 
grales continuales, proposée par Feinman, permettra de donner une 
démonstration unique des résultats énumérés ci-dessus, et suggérera 
aussi les modifications à apporter dans la formule (D) dans les cas où 
elle est fausse (par exemple, pour les représentations des séries dé- 
générées des groupes semi-simples non compacts). 

Passons maintenant au calcul de la mesure de Plancherel des 
groupes de Lie. Rappelons (voir 12.4) que la formule de Plancherel 
pour les groupes unimodulaires G est de la forme 


Lie Pde= | tir (DT (@*Ian (17), (6) 
| | 


G 
où [7] désigne la classe d'équivalence de la représentation T. 
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Soit À (G) le sous-espace de C (G) engendré par les fonctions 
de la forme @ = @ * @+, où 


pi ELA(G, dg) N L?(G, dg). 


Problème 1. Démontrer que pour chaque fonction @ € À (G) on a la 
formule d’inversion 


g(@)= | tr [Ta (Ta ()*] du (A). 0 
G 


Indication. Il suffit de vérifier cette égalité pour g = e. Dans ce 
cas, elle s’écrit 


p (e) — | tr Ta(p) du (À) (8) 


G 


et pour les fonctions de la forme q = ,xp.* se déduit de (6). 


L'égalité (8) peut être considérée comme une décomposition des 
ô-fonctions sur le groupe G en caractères des représentations irré- 
ductibles. 

Dans le cas où la formule (®) est vérifiée, cette égalité possède 
une signification simple et concrète ; elle exprime la décomposition 
de la mesure de Lebesgue sur g* en mesures canoniques sur les orbites. 

En effet, supposons qu'on ait une bijection entre les orbites et 
les représentations et que, pour les représentations qui correspondent 
aux orbites de dimension maximale, on puisse choisir pour pe la 
fonction universelle (4). (Toutes ces conditions sont vérifiées, par 
exemple, pour les groupes exponentiaux.) 

Si le groupe G est unimodulaire, la mesure de Lebesgue dF sur 
g* est invariante par rapport à la X-représentation. 

Supposons que l’espace © (G) des orbites soit semi-séparé. Alors 
la mesure dF se met d’une façon unique sous la forme 


dF = | Bo du (£2). 
O(G) 
En passant à la transformation de Fourier, nous obtenons l'égalité 
8(X)=— | Za(exp X) du (R). (9) 
O(G) 
Vu que les orbites de dimension maximale remplissent un ensemble 


de mesure complète dans g*, il suffit d'effectuer l'intégration dans (9) 
sur l’ensemble Omax (G) des orbites de dimension maximale. Enfin, 
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en utilisant la formule (®) et l'égalité g (e) = 1, nous obtenons la 
relation 


8(9—| 40e) dx (©) (10) 
Omax(6) 


qui nous donne évidemment la décomposition cherchée (8). 
Dans le cas où l'espace topologique © (G) est semi-séparé, le 
sous-ensemble Omax (G) est une variété différenciable. Une carte 
locale sur Omnax (G) peut être définie de la manière suivante. 
SOit Aus + + +) MBs is + + +» Pon Un système de coordonnées 
locales (pas nécessairement linéaires) sur g*. 
Supposons que l'équation 


MB=Pr= 0°... = Pon = 0 (11) 


définisse une sous-variété S dans g* transversale aux orbites de 
dimension maximale. Alors, dans un voisinage suffisamment petit, 
S a un seul point commun avec chaque orbite qui passe par ce voisi- 
nage. Nous pouvons, par conséquent, identifier un certain ouvert 
de Omax (G) avec le voisinage sur S. Comme coordonnées locales 
dans le voisinage nous pouvons choisir les restrictions à S des fonc- 
tions À, . .., Àpe 


Une autre méthode pour introduire des coordonnées locales dans Omax (G) 


consiste à considérer les fonctions G-invariantes sur g*. Les deux méthodes sont 
intimement liées. En fait, l'introduction des coordonnées par la première méthode 
est un des moyens les plus commodes pour construire explicitement des fonctions 
G-invariantes sur g*. 


Exemple. Soient G = GL(n, OC), 9 = g* = Mat, C. Comme 
nous l’avons vu dans 15.1, les G-orbites dans g* sont des classes 
des matrices semblables. Pour la variété S on peut prendre l’en- 
semble des matrices de la forme 


(O0 1 O0 ... 0 0) 
0 O0 1... 0 0 


0 0 0... O0 1 


(UD1 P2 P3 -.. Pn-1 Pn 
et pour coordonnées sur S les paramètres p,, . .., Da. 


Problème 2. Démontrer que chaque orbite de (Omax (G) coupe S 


exactement en un seul point. Les paramètres p,, . .., p, Coïncident (au signe 
près) avec les coefficients du polynôme caractéristique de chaque matrice de 
l'orbite correspondante. 

Indication. Vérifier que la matrice À appartient à une orbite de 
dimension maximale si et seulement s’il existe un vecteur Ë tel que Ë, AË, ... 
..., An-Ï£ sont linéairement indépendants. 
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Il nous faudra aussi la notion de forme de Pfaff d’une matrice 
antisymétrique À. Soient V un espace de dimension 2n et E,, ... 


es Éon Sa base: À — DIT Ex /\ E; un élément homogène de degré 


» 9 
deux dans l’algèbre extérieure sur V. Alors, la n-ième puissance 
extérieure de À s'écrit 


AAÂA... Ad=c-E AE A... À Een, (12) 


car l’espace A\°* V est de dimension 1. Le coefficient c dans l’éga- 
lité (12) est un polynôme de degré n des coeïfticients a;;. On l’ap- 
pelle pfaffian de la matrice À et on le note Pi À. 


Problème 3. Démontrer l'identité 


(PfA)2= det À. 


Indication. Utiliser le fait que chaque élément À € A? V s'écrit dans 
une base appropriée 


— D, ÀR6r À En+tk. 
k=1 


Revenons au calcul de la mesure de Plancherel. Il se trouve 
que dans les hypothèses faites ci-dessus et pour le choix indiqué 
des coordonnées À,, . .., Àg SUrT Ormax (G) nous avons le résultat 
suivant. 

Soit F (À) un point de l'orbite aux paramètres À,, . .., À dans 
la variété S. Les valeurs des produits de Poisson des fonctions 
Dys + + +» Pon au point F (À) forment une matrice antisymétrique ©: 


Di; = {qi, pi} (F (À)). (15) 


Problème 4. La mesure de Plancherel pour le groupe G est donnée 
par la formule 


u = p (À, 0) Pf D (À) di À... À dy, (14) 
où p (À, œ)est la mesure de Lebesgue dF sur g* dans les coordonnées À, o: 
dF = ph, q) di À... À du À dpi A +: + À don (45) 


Indication. Comparer les valeurs des formes différentielles qui 
définissent les mesures dF, 8, et u au point F (À). 


La formule (14) se simplifie considérablement lorsque les coor- 


données À4, . . ., Àp @b @y, + « -, Don SOnt linéaires, c’est-à-dire sont 
des vecteurs de g. Dans ce cas p (À, @) = const et 
k 


D;;(A)=(F (À), [pi ph = D Anti, 
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où c? sont des constantes structurales de l’algèbre de Lie. La mesu- 
re u cherchée s’écrira alors 


u= P (à) du À Ad, (16) 


où P est un polynôme homogène de degré n des variables À, ..., Àg 
dont les coefficients s'expriment explicitement en termes des cons- 
tantes structurales de l’algèbre g. 

Il est intéressant de noter que l'application formelle de l'égalité 
(16) aux groupes semi-simples complexes et compacts nous donne, 
si l’on remplace l'intégration par la sommation sur tous les para- 
mètres À qui satisfont aux conditions d’entièreté, une expression, 
correcte pour la mesure de Plancherel. 

Le fait suivant est non moins intéressant ; pour les groupes semi- 
simples réels ce procédé ne donne la réponse correcte que pour la 
série discrète des représentations. 


15.7. Caractères infinitésimaux et orbites. La méthode des 
orbites permet dans certains cas de calculer explicitement le carac- 
tère infinitésimal d’une représentation irréductible. 

Rappelons (voir 11.3) que le caractère infinitésimal de la 
représentation 7 est un homomorphisme À- du centre Z (g) de 
l'algèbre U (g) dans le corps des nombres complexes lié à la repré- 
sentation 7 par la formule 


T (X)= Ar (X) 1. (1) 


Utilisons également le théorème 2 de 10.4 sur l'existence d’un 
isomorphisme des espaces vectoriels Z (g) et Z (g) & S (a) (l’espace 
des éléments G-invariants de S (g)). 

On peut faire correspondre à chaque orbite Q du groupe G dans 
g* la forme linéaire ÀQ sur Z (g) de la manière suivante. On peut 
identifier l'algèbre S (9) à l’algèbre P (g*) des fonctions polynômes 
sur g*. À savoir, nous ferons correspondre à chaque X € g la fonc- 
tion linéaire ‘sur g*: 

Fr 2ni(F, X\ 


et nous prolongerons cette application par linéarité et multiplica- 
tivité à un isomorphisme de S (g) sur P (g*). Le sous-espace J (ga) 
sera alors réalisé par des polynômes constants sur les orbites. Défi- 
nissons À4 Comme la forme qui fait correspondre au polynôme inva- 
riant sa valeur sur l'orbite 2. 

Remarquons qu'a priori ces formes ne sont pas multiplicatives 
car nous ne savons pas si l’isomorphisme de Z (g) et de Z (g) est 
toujours un isomorphisme d'’algèbres !. 


1) La démonstration de ce fait a été récemment obtenue par M. Duflo [75]. 
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Nous dirons que la représentation T correspond à l'orbite Q si 
Àr = }a (2) 


(et, par conséquent, ÀA est une forme multiplicative). 

La correspondance entre les orbites et les représentations obtenue 
de cette manière est moins précise que celle introduite plus haut. 
En effet, nous nous intéressons maintenant non pas à l'orbite elle- 
même, mais à l’ensemble des niveaux communs des polynômes 
G-invariants renfermant cette orbite. 


Pour les groupes de Lie algébriques (c’est-à-dire pour les sous-groupes de 
GL (n, R) ou de GL (n, C) définis par des équations algébriques) on peut dé- 
montrer que les orbites de dimension maximale sont « presque discernées » par 
des fonctions rationnelles G-invariantes sur g* (c’est-à-dire que les ensembles 
des niveaux correspondants se composent d’un nombre fini d’orbites). 

Pour les groupes complexes semi-simples et nilpotents on a l’assertion plus 
forte : presque tous les ensembles de niveaux simultanés des polynômes G-inva- 
riants sont des G-orbites. 


Par conséquent, l'orbite n’est en général pas déterminée par 
les valeurs correspondantes des polynômes G-invariants. Ce qui est 
une illustration géométrique du fait que les représentations irréduc- 
tibles ne sont pas en général déterminées par leurs caractères infini- 
tésimaux. 

La vérification de la formule (2) est intimement liée à celle 
de la formule (®) de 15.6. A savoir, si pour toutes les orbites de 
dimension maximale la formule (®) ayant la fonction universelle q 
pour pa est vérifiée, alors l’isomorphisme entre Z (g) et l’ensemble 
des polynômes invariants sur g* est un isomorphisme d’algèbres 
et admet une interprétation analytique très simple. Considérons 
la transformation qui fait correspondre à une fonction différenciable 


finie @ sur G la fonction q sur g* par la formule 


p(F) — | g"! (exp X) p{exp X) e2xitF, 3) 4X, (3) 
q 


Il s'avère que cette transformation envoie les opérateurs de Laplace 
sur G sont envoyés dans les opérateurs de multiplication par les polynô- 
mes G-invariants sur g*. 

Si la représentation T7 correspond dans le sens de 15.6 à l’orbite Q, 
alors son caractère infinitésimal coïncide avec Ào. 

Inversement, si les opérateurs de Laplace sur un groupe G pos- 
sèdent la propriété ci-dessus, alors tous les À, sont des formes multi- 
plicatives et les deux membres de la formule (®) satisfont à un 
même système d'équations différentielles. 

Ainsi, de chacune des formules (2) et (®) on peut bien déduire 
l’autre. 
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Pour les groupes compacts, la formule (2) est connue depuis 
longtemps et a permis de déduire la formule (D) (voir [105)). 

Pour les groupes exponentiaux, au contraire, la formule (2) a été 
obtenue dans [73] comme corollaire de la formule (®). 

Citons quelques problèmes non résolus qui se posent naturelle- 
ment lors de l'étude des caractères infinitésimaux par la méthode 
des orbites. 

1. Généraliser la notion de caractère infinitésimal et l’égalité (2) 
au centre du corps de Lie D (g) lié à l’algèbre de Lie g (voir 10.4). 

2. Donner une démonstration purement algébrique de la pro- 
priété ci-dessus des opérateurs de Laplace sur un groupe de Lie. 


TROISIÈME PARTIE 


QUELQUES EXEMPLES 
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16.1. Analyse harmonique sur le cube de dimension trois. 
Un des collaborateurs de l’Institut mathématique numérota un jour 
par 1, 2, 3, 4, 5, 6 les faces d’un modèle de cube. Un autre, arrivé 
à l’Institut le lendemain, remplaça chaque nombre par la moyenne 
arithmétique des quatre nombres voisins. Le premier collaborateur, 
ayant remarqué ce changement le jour suivant, lui rendit la pareille. 
Quels nombres seront écrits sur les faces du cube dans un mois, 
si l’on sait que les deux collaborateurs vont à l’Institut un jour sur 
deux ? 

La solution de ce problème amusant servira de modèle d’applica- 
tion de la théorie des représentations à divers problèmes des mathé- 
matiques, de mécanique et de physique ayant une symétrie quel- 
conque. 

La première étape de la solution consiste à énoncer le problème 
dans les termes de la théorie des représentations. Soient G le groupe 
des isométries du cube, V ; l’espace des fonctions sur l’ensemble des 
faces du cube. L'espace V. est muni l’une représentation naturelle T 
du groupe G induite par la représentation unité du sous-groupe A» 
qui laisse invariante une des faces (cf. avec le 13.1). 

Considérons dans l’espace V, l’opérateur ZL qui envoie la fonc- 
tion f(x) dans la fonction 


(Lh (5 =+ D f (9), 


où la sommation s'effectue sur les quatre faces y voisines de la fa- 
ce x. 

L'opérateur L est permutable à l’action de G. (Réfléchir à cette 
affirmation et se convaincre de sa validité.) Par conséquent, on peut 
appliquer à Z les théorèmes généraux sur les opérateurs d’entrela- 
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cement. Décomposons la représentation 7 en composantes irréduc- 
tibles. Le nombre d’entrelacement c (T, T) est égal au nombre de 
classes des couples de faces du cube (voir 13.5). Il n’y en a que 
trois: faces coïncidantes, voisines et opposées. On peut donc en 
déduire que T est la somme de trois représentations T,, T,, T4, non 
équivalentes deux à deux. 

Mais les trois sous-espaces invariants de V, sont faciles à décri- 
re: l’espace V, des constantes, V, des fonctions paires à somme de 
valeurs nulle et V, des fonctions impaires. (Paire et impaire signifie 
que la fonction prend des valeurs égales ou de signe contraire sur les 
faces opposées.) L'opérateur L est un multiple de la constante À; sur 
chacun des V;, i— 1, 2, 3. Evidemment À, = 1. Pour une fonction 
de V, on peut prendre la fonction égale à 1 sur un couple de faces 
opposées, à — { sur un autre et nulle sur le troisième. On a donc 


À = —;. Pour une fonction de V, prenons enfin la fonction égale 
à À sur une face, — 1 sur la face opposée et nulle sur les autres. 
Alors À3 = 0. 


L'opérateur L*? qui nous intéresse se réduit à la multiplication 
par 1, (—1/2)%, 0 dans V,, V, et V, respectivement. Par conséquent, 
on peut affirmer avec une précision suffisamment élevée que tous les 
nombres cherchés valent 3,5, car le vecteur Ë, = (3,5, 3,9, 3,9, 3,9, 
3,9, 3,9) est la projection du vecteur 6 = (1, 2, 3, 4, 5, 6) sur un sous- 
espace des constantes. Vu que la projection de Ë sur V, a une lon- 
gueur inférieure ou égale à 


É—E11=7Y17,5 


l'erreur possible ne dépasse pas 


VIT À 0 004. 


230 


Le lecteur peut répéter les mêmes raisonnements pour un octaëdre ou urt 
dodécaèdre. Les valeurs propres de l'opérateur Z sont alors 4, —1, O0 et 4, —1/5, 


1/V5, —1/V5 respectivement. 


En considérant d’autres espaces homogènes pour le groupe des 
isométries du cube, on peut construire un système complet de re- 
présentations de ce groupe. Soient 

X », l’ensemble des faces du cube, 

Xs, l’ensemble des sommets du cube, 

Xp, l’ensemble des grandes diagonales du cube, 

X 7, l’ensemble des tétraèdres réguliers inscrits dans le cube, 

Xc, l’ensemble des centres du cube. 

Les espaces de fonctions sur ces ensembles seront notés V,, Vs, 
Vpn, Vr, Ve. Leurs dimensions valent 6, 8, 4, 2, 1 respectivement. 
Nous laissons au lecteur le soin de vérifier que la table des nombres 


19% 
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d’entrelacement pour les représentations correspondantes Tr, Ts, 
Th, Tr, Tc est de la forme : 


Que peut-on dire en examinant cette table? Avant tout, la forme 
même des nombres se trouvant sur la diagonale montre que Tec est 
irréductible (ce qui découle, par ailleurs, du fait qu’elle est de di- 
mension 1), Th et T7 sont des sommes de deux composantes irré- 
ductibles, TT} la somme de trois composantes irréductibles, tandis que 
pour T's il y a deux hypothèses : soit la somme de quatre représenta- 
tions non équivalentes deux à deux, soit la somme de deux représen- 
tations équivalentes. Mais la deuxième possibilité est à rejeter, car 
le nombre d’entrelacement c (Ts, Tc) ne peut être égal à 1. 

En outre, de cette même table on voit que la multiplicité de Te 
dans toutes les autres représentations est 1. Nous avons déjà vu 
que T'# est la somme des représentations 7, & Te, T, et Ta. 

Soient Tp = Li + Ty, Tr = TT; + T;; vu que 


C(Tn, Tr) = C(Tn, Tr) = C(Tr, Tr) = 1 


les représentations T,, T,, T:, T, et T, sont non équivalentes deux 
à deux. On voit également d’après la table ci-dessus que T$s contient 
T,, Ts, T3 et l’une des représentations 7, et T,. Puisque dim T, — 
— 4, dim 7, — 2, dim T, — 3, dim 7, — 3, dim 7, =1,ona 


Ts = Ti + Ta + Ta + Ti. 


Vu que le groupe G contient cinq classes d'éléments conjugués 
(élément unité, rotation autour d’un sommet, rotation autour du 
milieu d’une arête et deux types de rotations autour du centre d’une 
face : de 90° et 180°), les cinq représentations trouvées sont alors tou- 
tes les représentations possibles de G. Ce fait découle aussi de l’éga- 
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lité [G| = D (dim T;)?, qui dans notre cas s'écrit 24— 12 + 1? + 
+ 22 + 32 L 32, Indiquons maintenant les sous-espaces de fonctions 
dans lesquels agissent les représentations irréductibles. 

T, agit, évidemment, dans l’espace des constantes. 

T,, par définition, agit dans l’espace des fonctions paires à somme 
de valeurs nulle sur X >. 

T;, par définition, agit dans l’espace des fonctions impaires sur 
X # et également dans un certain sous-espace V' € Vs. 

T,, par définition, agit dans l’espace des fonctions à somme de 
valeurs nulle sur Xh et également dans un certain sous-espace V” & 
CC Vs. 

T;, par définition, agit dans l’espace des fonctions à somme nulle 
sur 7 et également dans un certain sous-espace V” € Vs. 

Décrivons les sous-espaces V”, V” et V”. 

L'espace V" est de dimension 1 et consiste en des fonctions à va- 
leurs de signe contraire sur deux sommets voisins quelconques. 
L'espace V” est de dimension 3 et consiste en des fonctions paires 
à somme de valeurs nulle sur X$. Enfin, V” est de dimension 3 et 
consiste des fonctions impaires sur X$ orthogonales à V”. 

Toutes ces assertions sont faciles à déduire de l’analyse de la for- 
me explicite des opérateurs d'entrelacement. 


16.2. Représentations du groupe symétrique. On appelle groupe 
symétrique de degré n, ou groupe #,, le groupe de tous les automorphis- 
mes d’un ensemble fini X contenant n éléments. Il est clair que 
l’ordre du-groupe S, est égal au nombre de toutes les permutations 
de n symboles, c’est-à-dire n!. 

Problème 1. Démontrer que le groupe S, est résoluble pour nr < 4. 


Indication. Les groupes S, et S, sont commutatifs, Sa est le produit 
semi-direct de S, et Z, et S, est le produit semi-direct de S, ct Z2 X Zo. 


On sait que pour ñ >», le groupe S, n’est plus résoluble et con- 
tient un sous-groupe invariant simple À, d’index 2. Ce sous-groupe 
invariant s'appelle groupe alterné de degré n et se définit comme le 
noyau de l’homomorphisme s du groupe S, dans un groupe de deux 
éléments. 


Problème 2. Démontrer que la fonction 
s(o) = [[sn(o(i)—-o(û))}, 0o€es,; 
i<j 


est un homomorphisme de S, dans le groupe multiplicatif (+1, —1}. 
Indication. Considérer le polynôme de n variables 


P (x) = Il (x; — z;) 
i<j 
et vérifier que P (o (x)) = s (0) P (x). 
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On appelle généralement les éléments de À, permutations paires 
et les éléments de S, À, permutations impaires. 

La classification des représentations irréductibles du groupe S, 
peut être obtenue par le même procédé qu'on a employé ci-dessus pour 
l'étude du groupe des isométries du cube. Pour cela il faut construire 
une famille suffisamment large d'espaces homogènes sur lesquels 
agit le groupe S:. 

Soit &« une famille d’entiers naturels n,, ..., n, qui possède 
les propriétés 

M ZN:7 ee À ls (1) 


Mr... + =nN. (2) 


Pour chaque famille &« désignons par X, l’espace dont chaque point 
est la décomposition de l’ensemble X en sous-ensembles X,,..., X,, 
tels que | X; | = n;. Il est évident que le groupe S, agit transitive- 
ment sur X,. 


Problème 3. Démontrer que | Xa = 
dr se. 


Indication. Démontrer que le sous-groupe stationnaire du point 
z € X, dans S, est isomorphe à S,, X ... X Sn. 


Nous avons pour chaque espace X,, deux représentations du grou- 
pe S$,: la représentation T, induite par la représentation triviale 
de dimension { du sous-groupe S, = 5,, X ... X Sn, et la re- 
présentation 7% induite par la représentation s non triviale de dimen- 
sion 1 (voir problème 2) de ce même sous-groupe. 

La classification de toutes les représentations irréductibles de S, 
peut être obtenue en considérant la table des nombres d’entrelace- 
ment c (7,, T8). Introduisons un ordre lexicographique dans l’ensem- 
ble des familles &, en posant que «a = (n,, ..., n:) est plus grand 
que B = (m,, ..., Mi) Si Rj >> Mu, OÙ Si M4 = Mu, Mais No > Mo, 
ou enfin Si N,) = My, No = Mo, MAÏS N3 >> Ma, Etc. 

En outre, définissons pour chaque famille &« = (n,, ..., nx) la 
famille conjuguée a* = (nf, ..., nj), où n* est la cardinalité de 
l’ensemble des nombres n,,...,n, non inférieurs à i. 


Problème 4 Démontrer que la famille a*, de même que «&, satisfait 
aux conditions (1) et (2) et que (a*)* = «. 

Indication. A chaque famille &œ= (n,, ..., n;) correspond une 
fonction à échelons non croissante égale à n; dans l'intervalle de à à à + 1. 
Montrer qu’à la famille &«* correspondra alors la fonction inverse. (Voir égale- 
ment ci-dessous l'interprétation des familles & à l’aide de tables de Young.) 


Théorème 1 (J. von Neumann-H. We y). 


0 si afp", 
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Démonstration. Soit C l'opérateur d’entrelacement pour 
le couple T,, T5. Comme nous avons vu dans 13.5, cet opérateur est 
donné sur X, xX X8$ par la fonction c (x, y), telle que 


c(o (x), o (y)) = s (o) c (x, y). (3) 


Nous avons montré que pour & > B* de telles fonctions n'existent 
pas (sauf la fonction triviale c = 0) et que pour « = B* il n’en existe 
qu'une seule (à une constante multiplicative près). 

Soient xE X4 et yE Xp. Rappelons que x est la décomposition de 
X en sous-ensembles X,, ..., X,,| X;|—n; et y la décomposition 
de X en sous-ensembles Y,, ..., Y,, | Y; | = mi. 


Problème 5. Démontrer qusia>f*,onal|X; NA Y;|2>2 pour 
certains à et j. 
Indication. Raisonner par l'absurde. 


Ainsi, si 4 > B*, il existe deux éléments de l’ensemble X conte- 
nus dans un même sous-ensemble aussi bien pour la décomposition & 
que pour $. Soit o l’élément du groupe S,, qui permute ces deux 
éléments de X sans modifier les places de tous les autres. Alors, 
G (x) = x, 6 (y) = y. Par conséquent, 


C(x, y) = c(o (x), o (y)) = s (o) c (x, y) = — c (x, y). 


Donc, c (x, y) — 0 et la première assertion est démontrée. 
Supposons maintenant &« — fB*. Considérons ce que l’on appelle 
la table de Young: 


composée de lignes de longueurs n,, . .., n, respectivement. 
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Problème 6. Démontrer que les longueurs des colonnes de la table 
de Young forment la famille B = (n*, ..., nf) conjuguée avec a. 


Supposons maintenant que nous avons écrit, au hasard, les 
éléments de l’ensemble donné X (que nous considérons comme l’en- 
semble des entiers de 1 à nr) dans les cases de la table de Young. 

La figure obtenue s’appelle diagramme de Young. On peut faire 
correspondre à chaque diagramme de Young le couple (x, y),x € X,, 
yE X8$8. Le point x est la distribution des éléments de X dans les 
lignes de la table de Young, et le point y la distribution en colonnes. 
Il est évident que le couple (o (x), © (y)) correspond au diagramme de 
Young qui s'obtient du diagramme initial à l’aide de la permuta- 
tion ©. En particulier, on peut en déduire que tous les couples 
(o (x), © (y)) sont différents pour des © distincts. 

Fixons un diagramme de Young quelconque et supposons que 
(To; Yo) Soit le couple correspondant. Posons 


ee. {: s (0) si T—O(x); y—=0 (y), 
Co (x, y)= dans les autres cas. 


(4) 


Il est clair que cette fonction satisfait à la condition (3) et définit, 
par conséquent, un opérateur d’entrelacement. 

De même que pour le cas &« > B*, on peut vérifier que l’équa- 
tion (3) ne possède aucune autre solution (sauf c, et les solutions qui 
lui sont proportionnelles). Le théorème est démontré. 

Du théorème 1 il s'ensuit que les représentations 7, et Tex pos- 
sèdent exactement une seule composante irréductible commune U, et 
que toutes les représentations U, sont non équivalentes deux à deux. 
Pour achever la classification il faut se convaincre que le nombre de 
représentations irréductibles ainsi trouvées coïncide avec le nombre 
de classes d'éléments conjugués dans $,. 

Faisons correspondre à chaque famille &« = (n,, ..., nx) la clas- 
se d’éléments conjugués suivante. Soient X,,..., Xz les décomposi- 
tions de X, et o € S, la permutation cyclique de chacun des ensem- 
bles X;, 4: 2 jus 


Problème 7. Démontrer que la classe de l’élément © ne dépend que 
de la famille « et que chaque classe d'éléments conjugués peut être obtenue de 
cette manière. 

Indication. Pour chaque © € S, considérer la décomposition de X 
en orbites du sous-groupe engendré par 6. 


Une étude plus détaillée de l’opérateur d’entrelacement C'€ 
EG (T,, Tux) permet d'obtenir une formule explicite pour le carac- 
tère de la représentation U,. Cette expression est suffisamment 
compliquée et ne peut probablement être simplifiée (vu que cha- 
que fonction « générale » de deux familles d’arguments entiers ne 
se simplifie pas). 
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Nous nous bornons à donner ici l’expression pour la dimension 


de la représentation U/,, qui correspond à la famille & = (n,,...,nx): 
nl [] G—1) 
. _ 1<I 
din Ve 


où 4 =n +k—i,i—=1,2,...,k. 


16.3. Représentations du groupe SL (2, F,). La famille des grou- 
pes SZ (2, F,), où F, est un corps fini (voir 3.2), est une des plus 
étudiées. Nous montrerons ici comment construire la série principale 
des représentations de ces groupes. 

Le groupe G = SL (2, F,) agit sur le plan de dimension 2 sur 
le corps F,. Si l’on élimine de ce plan l’origine des coordonnées, le 
groupe G agira transitivement sur l’ensemble restant X. Le sous- 
groupe stationnaire du point (0, 1) € X est alors le sous-groupe trian- 
gulaire N composé de matrices de la forme 


1 b 
# : , DE F3. (1) 
On a donc en particulier 
IGI=INT-IX | = g(g—1). (2) 


Notre but est d'étudier la représentation T du groupe G de l’es- 
pace V des fonctions sur X : 


a b 
IT F 4 j (u, v) = f(au + cv, bu + dv) (3) 
(autrement dit, Z est induite par les représentations triviales de NW). 
Trouvons l’espace 6 (T) des opérateurs d’entrelacement pour la 
représentation 7. 
Comme nous savons (voir 13.5), il faut pour cela énumérer les 
orbites du groupe & dans l’espace X X X. 


s Problème 1. Démontrer que chaque G-orbite dans X X X est de la 
orme 


On: {(&, DEXXX:z—hy ÀEFÉ} 
ou 


Ty Lo 


O, : { (a, y EX XX: = sert}. 


Indication. Chaque vecteur x € X peut par l’action de G être envoyé 
dans le vecteur (0, 1). Le vecteur y est soit proportionnel à x (avec coefficient 
À == 0), soit engendre avec x un parallélogramme de surface s 0. 


Corollaire. c(T, T1) =2(q — 1). 
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Notons C3 et C, les opérateurs d’entrelacement correspondant 
aux orbites ci-dessus. La structure de l’anneau @ (T') est définie par 
les relations suivantes. 


Problème 2. Vérifier les égalités 


Cle = Caine (4) 
Cle Cu CsCr= Cas, (5) 
Cala 2j Co +00 (6) 
s40 
Indication. Les opérateurs C1 agissent dans l’espace V suivant la 
formule 
Ca f(x) = f (x), (7) 
et les opérateurs C, suivant la formule 
[Csfl()= >) ff), (8) 
A(x, y)=s 
Où A (x, y) — . “ . Utiliser le fait que le système d'équations par rap- 
port à z 
A (x, z)=—s1, 
A (z, y) = 52 


possède une seule solution si À (x, y) - 0 et q solutions si À (x, y) = 0. 


Il est évident que les opérateurs C,, À € F5 forment un sous- 
anneau commutatif dans @ (T) isomorphe à l’anneau de groupe du 
groupe multiplicatif du corps. Considérons la décomposition de 
l'espace V correspondante (voir 8.3) 


Ve Sr: (9) 
XEF# 
L'espace V, se compose de fonctions sur X qui satisfont à la 
condition 
f Gx) = % (à) f (x). (10) 


Problème 3. Démontrer que les opérateurs C, envoient l'espace V, 
dans V1. 


Indication. Utiliser les formules (5), (7) et (8). 


Les représentations 7, du groupe G qui apparaissent dans les 
sous-espaces V, sont appelées représentations de la série principale. 
Il n’est pas difficile de vérifier que la représentation T7, coïncide 
avec Ind (G, H, U;), où H est le sous-groupe des matrices triangulai- 
res de la forme 


a db : 
k ae à a € F3, DEF, 
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et U, est une représentation de dimension 4 de Æ donnée par la 
formule 


U, fo nl = y (0). 


Théorème 1. La représentation T, est irréductible si y Æ 
Æ y”! et se décompose en somme de deux composantes irréductibles non 
équivalentes si % = %”1. 

Démonstration. Les deux assertions découlent du pro- 
blème 3. En effet, l'opérateur d’entrelacement générique de & (7) 
s'écrit : 

C2 D fDCi+ 2 g(s) C4. 
EF sEF# 


Par conséquent, si y=£ %"!, tous les opérateurs de @(T;) sont 
scalaires. Mais si % — %"!, @(T;) est alors engendré par les opéra- 
teurs C, = 4 et C,. Par conséquent, dans ce cas, c (T;) = 2. 

Etudions en plus de détails le cas exceptionnel y — #1, Si q est 
impair, il existe deux caractères exceptionnels: 

1, si x—y?, 


n@=t et xt _, 


L'espace V,, contient un sous-espace invariant de dimension 1 
et son sous-espace complémentaire des fonctions à somme de valeurs 
nulle. 

L'espace V,, est la somme de deux sous-espaces irréductibles de 
même dimension (q + 1)/2. 

Ce résultat peut être obtenu sans difficulté à partir des égali- 
tés (6) et (10). 

Si g = 27, iln’y a qu’un seul caractère exceptionnel % = 1. La 
représentation correspondante 7,, est analogue à celle obtenue 
pour q impair. 

Il est intéressant de remarquer que dans les deux cas (q pair et 
impair), la somme des carrés des dimensions des représentations 
irréductibles trouvées est égale à q (q + 1) (q + 3)/2. 

Dans le cas impair, ce nombre s'obtient comme la somme 


— 3 1\2 
D Ga+1ÿ+1+8+2(5), 
et dans le cas pair comme la somme 


2 
LE (g+ AP +1+ pe 
Ce nombre est approximativement égal à la moitié de l’ordre du 
groupe. Par conséquent, le groupe G possède encore une série de 
représentations irréductibles ne faisant pas partie de la décomposi- 


si x n'est pas un Carré. 
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tion de T. On appelle parfois ces représentations analytiques, car, 
comme dans le cas du groupe SL (2, R), elles se réalisent dans l’espa- 
ce des fonctions analytiques. Une réalisation analogue est aussi 
possible dans le cas d’un corps fini. Pour plus de détails voir le li- 
vre [20] (pour le cas du corps des nombres p-adiques). Une autre 
réalisation de cette série peut être obtenue par inclusion du groupe G 
dans le groupe simplectique Sp (2, F>) et en considérant ensuite la 
représentation spinorielle de ce dernier (cf. avec 18.2). D'après le 
choix des deux variantes possibles d’inclusion de G dans Sp (2, F>) 
on peut obtenir soit la série principale, soit la série analytique des 
représentations de G. Pour une généralisation intéressante de la 
notion de représentation analytique pour le cas G = SLi(n, F) 
voir [85]. 


16.4. Champs de vecteurs sur les sphères. Parmi les dernières 
réalisations les plus marquantes en topologie des variétés il faut 
citer la solution du problème elassique concernant les champs de 
vecteurs sur la sphère. L’énoncé du problème est le suivant: 

Soit S7-l une sphère unité dans l’espace euclidien réel R” de 
dimension n. 

(A) Quel est le nombre maximal p (n) des champs de vecteurs tan- 
gents. différenciables sur la sphère S"-1, linéairement indépendants 
à chaque point? 


Problème 1. Démontrer que p(n) coïncide avec le nombre maximal des 
fonctions vectorielles & sur S7-1 à valeur dans R*, qui possèdent les propriétés : 


ŒG:(x), z)=0, (Gi(c), 85) = Gi. (1) 


Indication. Utiliser le procédé d’orthogonalisation. 


Il est particulièrement commode de mettre la solution du pro- 
blème (A) sous forme de trois propriétés de la fonction p (n): 

a) p(n) ne dépend que de la puissance du nombre 2 dans la 
décomposition de x en facteurs premiers ; 

b) p (16n) = p (n) + 8; 

c) p (2*) = 2% — 1 pour k£ — 0, 1, 2, 8. 

Utilisant ces propriétés il est aisé de calculer p (n) pour un n 
quelconque. Par exemple, p (800) — p (32) = p (2) + 8 = 9. 

Nous montrerons ici comment on peut résoudre un problème 
plus facile à l’aide de la théorie des représentations. 

(B) Quel est le nombre maximal un) des champs de vecteurs linéai- 
res sur S"-}, linéairement indépendants à chaque point? (Nous appe- 
lons linéaire tout champ de vecteurs de la forme Ë (x) = Ax, AE€ 
€ EndR”.) 
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Problème 2. Démontrer que u{n) coïncide avec le nombre maximal 
d'opérateurs À dans R? qui possèdent les propriétés : 


A;A;j=1, AÀ;jA;j+A;A;=— 20;;. (2) 


Indication. Démontrer que (4x, x) = 0 pour tous les x € S7-1 si 
et seulement si À + 4’ = 0. 


Il est clair que u(n) < p(n). Nous verrons plus loin, après avoir 
calculé u(n), que l’on a même u(n) — p(n). Il serait très intéres- 
sant d'obtenir une démonstration directe de cette égalité. 


Un des moyens possibles pour le faire consisterait à démontrer que chaque 
famille de fonctions vectorielles qui satisfont à la condition (1) peut être défor- 
mée en une famille de fonctions vectorielles linéaires à même propriété. 


Enonçons le problème (5) en termes de la théorie des représenta- 
tions. Soit G, le groupe à générateurs a,, . . ., ax, & et aux relations: 


adi=e, &— 1, aa;—aja;e pour is j. (3) 


Problème 3. Démontrer que l'inégalité k4 < u(n) est équivalente 
à l'existence d’une représentation 7 réelle de dimension nr du groupe G;, qui 
envoie l’élément e dans —1. 


Indication. Considérer la représentation 7 du groupe G, définie 
par ses valeurs sur les générateurs : 


T (a) = Ai, T (8) = —1. 


Passons à l'étude du groupe G; et de ses représentations. 


Problème 4 Démontrer les propriétés suivantes du groupe G;: 
a) G, est l'extension centrale de (Z,)}? à l’aide de Z, ; 

b) le centre C (G:) est d'ordre 2 pour k pair et 4 pour # impair; 

c) le commutant [G;, G;l est d'ordre 2 pour 4 > 1; 

d) l’ensemble des éléments conjugués à l'élément g — G, consiste soit 


en un seul élément g (si g € C (G:)), soit en un couple g, eg (si g € C (G)). 
Indication. Utiliser le fait que chaque élément g € G, se met de 
façon unique sous la forme 


£—a;, ee a;, 


ou s==Ea;, .… di. (4) 
Les résultats du problème 4 permettent d’énumérer toutes les 
représentations irréductibles de G,. Leur nombre est égal à celui de 


classes d'éléments conjugués, soit | C (Gz)| + EC . Cette 


expression est égale à 2* + 41 pour k pair et à 2° + 2 pour k impair. 
Remarquons que le groupe G, possède exactement 2* représentations 
de dimension 1 pour lesquelles & est envoyé dans 1. En outre, 
d’après le théorème de Burnside, la somme des carrés des dimensions 
de toutes les représentations doit être égale à | G, | = 2**!. On peut 
en déduire que pour k pair il n’y a qu’une seule représentation irré- 
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ductible qui envoie & dans — 1 ; sa dimension est égale à 24/2, Pour 
k impair il y a deux représentations semblables de dimension 
2 %-1/2 chacune. 

Précisons le type de ces représentations. Pour cela, d’après le 
critère de Shur (voir 11.1, théorème 3), il faut calculer le signe de 


la valeur >, x(£g?), où est le caractère de la représentation étudiée. 
8€Gk 


Problème 5. Démontrer que g? = 1 ou g = e, quel que soit g € Gz. Plus 
exactement, si g est de la forme (4), alors g2 = es+1)/2, 


Ainsi, la valeur qui nous intéresse est égale à 
2x (e) (1 — Ch — CE + CR + CR — (5) 


Problème 6. Démontrer que le signe de la valeur (5) est donné par la 
table 


Indication. L'expression entre a dans no peut être mise 
sous la forme Re (1 + i)} — Im (1 + i)k = Re (1 — i)k+ 


Notons T;, la représentation réelle du groupe G, qui envoie & 
dans — 1 et possède la dimension minimale admissible. 


Problème 7. Démontrer que la dimension de T; est égale à 
oh/2 si 4 — 8m ou 8m + 6, 

QGHVE, si k = 8m + 1, 8m + 3 où 8m + 5, 

2U-+2)/2" si k = 8m + 2 ou 8m + 4, 


21/2, sj k = 8m+7 
Indication. Utiliser le résultat du problème (6) et le critère de Shur. 


Pour calculer u(n), il suffit de remarquer que l'égalité un) = k 
équivaut à la condition dim 7, — n. D’après cette considération et 
le résultat du problème 7, on déduit aisément que la fonction u{n) 
possède effectivement les propriétés a), b), c) et, par conséquent, 
coïncide avec p(n). 


Ce même résultat peut être obtenu en considérant au lieu du groupe G; 
l’algèbre sur R engendrée par les opérateurs À; qui satisfont à la condition (2). 
Nous laissons au lecteur le soin de réaliser cette méthode, en utilisant les résul- 
tats de 3.5 sur les algèbres de Clifford sur R. 
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17.1. Analyse harmonique sur la sphère. Les aires des ombres 
d'un certain corps placé dans un faisceau des rayons parallèles de 
direction quelconque sont identiques. Peut-on alors affirmer que ce 
corps est une boule? 

Ï1 se trouve que si l’on admet de plus que le corps est convexe et 
possède un centre de symétrie, la réponse à cette question est positi- 
ve. Plus exactement, nous avons 

Théorème 1. Un corps convexe à centre de symétrie dans R” 
est défini de façon unique par les aires de ses projections sur tous les 
hyperplans. 

Pour démontrer ce théorème il faut recourir à l'analyse harmoni- 
que sur la sphère. Avant d'exposer cette démonstration, donnons 
une autre formulation de ce théorème. 

Théorème 2. Un corps convexe à centre de symétrie dans R" 
est défini de façon unique par les aires de toutes ses sections par des 
hyperplans. 

L'équivalence des théorèmes 1 et 2 découle des considérations 
suivantes. Soit À un corps convexe à centre de symétrie dans R”. 
Nous pouvons alors définir une norme dans R”, pour laquelle le corps 
K sera une boule unité. Inversement, si R” est muni d’une norme, 
la boule unité sera un corps convexe à centre de symétrie. 

Appelons deux corps À et X” duaux si les espaces de Banach 
correspondants Vx et Vx sont adjoints l’un à l’autre par rapport 
au produit scalaire naturel dans R”. Autrement dit, X est dual à X”, 
si les deux conditions suivantes sont équivalentes : 


sup (x, y)}<1 et zEX. (1) 
yEK”? 


Dans ce cas, les conditions ci-dessous sont également équivalentes : 
sup (x, y) <1 et yEK”. (2) 
xEK 


Soit R°-! un hyperplan dans R” et p la projection de R” sur R?-t. 


Problème 1. Démontrer que si les corps X et X’ sont duaux dans R? 
entre eux, alors R?-1 f] X et p (K’) le sont aussi dans R?-{!. 
Indication. Utiliser les conditions (1) ou (2). 


Ainsi, le problème de la détermination d’un corps par ses projec- 
tions est équivalent au problème de la détermination du corps dual par 
ses sections. 

Passons à la démonstration du théorème. Pour concrétiser, limi- 
tons-nous au cas n — 3, laissant au lecteur le soin d'effectuer les 
raisonnements analogues pour le cas général. 

Formulons avant tout ce problème en termes qui permettent 
le passage à la théorie des représentations. Nous définirons le corps 
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Si 


convexe à centre de symétrie À & R° à l’aide d’une fonction f sur 
la sphère unité S € R* de la manière suivante. Si x est un point de 
S et L, une demi-droite issue de l’origine des coordonnées et passant 
par ce point, alors posons 


f()=5 ré, (3) 


où r, est la longueur du segment !, f\ À. 

Etant donné que le corps À a un centre de symétrie, la fonction 
obtenue f sur S est paire (c’est-à-dire qu'elle prend des valeurs 
égales en deux points opposés de la sphère). 

L’aire des sections du corps À par tous les plans de dimension 2 
s'exprime aisément à l’aide de la fonction f. 


Problème 2. Si C'est un grand cercle de la sphère S découpée dans S 
par le plan P, alors 


aire (À (}P) = | f (x) dx. (4) 
C 
Indication. Utiliser la formule pour l’aire en coordonnées polaires. 


Ainsi, notre théorème peut être formulé de la manière suivante. 

Une fonction paire sur la sphère est entièrement déterminée par ses 
intégrales sur tous les grands cercles. 

Considérons l’espace ZL? (S) des fonctions sur S de carré sommable 
pour la mesure usuelle (l’aire) et le sous-espace Z (IS) formé des 
fonctions paires. 

Les rotations de la sphère envoient ces espaces en eux-mêmes. 
Ainsi, nous avons obtenu une représentation unitaire 7 du groupe 
SO (3) dans ZL?(S) et sa sous-représentation T,; dans LA (S). 

Notons par J l'opérateur dans L? (S) qui agit suivant la formule 


Jf()= | f (y) dy, (5) 
Cx 


où C,est un grand cercle à épicentre au point € S. 


Plus précisément, l’opérateur J se définit par la formule (5) sur le sous- 
espace C (S) des fonctions continues et se prolonge par continuité à tous les L?(S). 
On peut démontrer néanmoins que l'égalité (5) est satisfaite presque partout sur S 
quel que soit f € L?(S). 


Notre problème se réduit à établir que le noyau de l'opérateur J 
est nul (c'est-à-dire que si Jf = 0, alors f — O0). 


Problème 3. Démontrer que l'opérateur J est un opérateur d’entre- 
lacement pour les représentations T et T;. 

Indication. Utiliser l’invariance de l'élément de longueur lors des 
rotations de la sphère. 
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D'après la théorie générale nous savons que l’espace ZL (S) de la 
représentation 7, est la somme directe des sous-espaces irréductibles 
de dimension finie où tous les opérateurs J sont scalaires. 

Nous trouverons maintenant explicitement ces sous-espaces et 
les valeurs propres de l’opérateur J dans ces sous-espaces. Elles seront 
toutes non nulles, ce qui démontrera l’assertion cherchée. 

Soit P, l’espace des fonctions sur S qui sont les restrictions à S 
de tous les polynômes homogènes de degré nr dans AR. 

Problème 4. Démontrer que P, € P,+, et que dim P,, = (n + 1) X 
X (n + 2)/2. 

Indication. La première asscrtion découle de l'égalité 2? + y? + 
+ z? = 1 sur S. La deuxième se démontre aisément par récurrence. 


Soit 1, le supplémentaire orthogonal de P,_, dans P,. 
Théorème 3. Les décompositions des espaces L? (S) et L? (S) 
en espaces irréductibles (par rapport au groupe SO (3)) sont de la forme 


L2(S)= à Hy, L?(S)= 2 Han. 


Démonstration. Il est clair avant tout que F, est un 
sous-espace invariant et que la somme algébrique de ces espaces coïn- 
cide avec la réunion des espaces P,. D'après le théorème de Stone- 
Weïerstrass (voir 4.2) ce dernier espace est dense dans C (S) et, par 
conséquent, l’est aussi dans L? (S). La somme hilbertienne des Æ, 
coïncide avec L?(S). On voit également que H, € L? (S) si et 
seulement si nr est pair. Pour démontrer le théorème il suffit de vérifier 
l'’irréductibilité de Æ,. 

Problème 5. Démontrer qu'il existe dans Æ, précisément une seule 
fonction (à constante multiplicative près), invariante par rapport au sous-groupe 
des rotations autour de l’axe des z. 


Indication. Démontrer qu’il y a dans P, exactement [n/2] + 
fonctions linéairement indépendantes invariantes par ‘rapport au sous- . 
ci-dessus à savoir: 2%, 2-2 (22 + 2), . .., 2% 200/2] (32 + 2)[n/2] 

Problème 6. Démontrer que ‘dans chaque sous-espace irréductible 
V CL?{(S) il y a au moins une fonction invariante par rapport aux rotations 
autour de l’axe des z 

Indication. Utiliser le théorème de dualité de Frobenius (13.5). 


L’irréductibilité de FH, se déduit d’une manière évidente des 
énoncés des problèmes o et 6. 

Il nous reste à trouver les valeurs propres de l’opérateur J dans 
les espaces Æ,. Pour cela, indiquons la forme explicite de la fonction 
Lh € H, invariante pour les rotations autour de l’axe des z. 


La À 


Problème 7. Démontrer que pour Z, on peut prendre la fonction 
d" 
Ln (= (2—1)] (6) 
(que l’on appelle r-ième polynôme de Legendre). 
20—0361 
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Indication. Vérifier que pour les fonctions sur S qui ne dépendent 
que de la coordonnée z, nous avons l'égalité 


1 


| f(x) dr=n | f (z) dz. 


S —1 


Montrer, en intégrant par parties, que L, est orthogonal à tous les polynô- 
mes en z de degré inférieur à n par rapport au produit scalaire 


1 
(fa 2) = | fa (z) fo (2) az. 
# 


Montrer enfin que Z, se définit par cette propriété à un multiple constant 
près. 


Soit À la valeur propre de l'opérateur J dans Æ,. En mettant 
dans la formule (5) le polynôme Z,, pour f et le point (0, O, 1) pour x, 
nous obtenons 

Ann (1) = 2(n)La (0). 


Les valeurs ZL, (1) et L, (0) sont faciles à calculer 


La (A)= Le) (+1) en nt) nant, 
0, si n est impair, 
ss = | (24)! Chr, si n=2k, 
d’où l’on déduit 
0, si ñn est impair, 


@k—1)1  . 
" GhU si n — 2k. 


bu 27 


17.2. Représentations des groupes de Lie compacts classiques. 
Les groupes de Lie compacts classiques sont les groupes des trans- 
formations isométriques de l’espace hilbertien V de dimension finie 
sur R, Cou H, c’est-à-dire les groupes O(n), U(n), Sp (n) (voir 5.1, où 
ces groupes sont notés O (n, 0), U (n, 0), Sp (n, 0) respectivement). 

La structure topologique de ces groupes peut être étudiée en 
partant d’une considération très simple. 


Problème 1. Soit G, un des groupes O (n), U (n), Sp (n). Démontrer 


que G, agit transitivement sur la sphère unité S de l’espace correspondant V 
et le sous- groupe stationnaire d’un certain point s, € S est isomorphe à G, 1. 


Nous laissons au lecteur le soin de vérifier les faits suivants. 
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Problème 2. Démontrer que les groupes U (n) et Sp (n) sont connexes, 
tandis que O (n) se compose de deux composantes, dont l’une est le groupe SO (n). 
Le groupe ondamental de SO (n) est isomorphe à Z pour n — 2 et à Z, pour 
n > 2. Le groupe fondamental de U (n) est isomorphe à Z. Le groupe Sp (n) 
est simplement connexe. 


Montrons que toutes les représentations irréductibles du groupe G, 
peuvent être réalisées dans les tenseurs sur l’espace V. 

Une formulation plus précise de cette assertion est la suivante. 
Soit W l’espace vectoriel complexe qui est la complexification de 
V (si V est réel), ou bien coïncide avec V (si V est complexe), ou 
encore s'obtient de V par restriction du corps des scalaires (si V est 
l’espace des quaternions). Notons T”:!(W) l’espace des tenseurs 
mixtes de rang (k, !) sur W (voir 3.5) et po"! la représentation du 
groupe G, qui apparaît alors dans 7! (W). 

Théorème 1. Parmi les composantes irréductibles des repré- 
sentations p"! figurent toutes les représentations irréductibles du grou- 
pe Gn. 

Démonstration. Soient 4! (G)le sous-espace de C(G,) 
engendré par tous les éléments matriciaux de la représentation 
pl et A(G) = >, A: (G). 


R, l 


Problème 3. Démontrer que À (G) est une sous-algèbre dans C (G;). 

Indication. Utiliser le fait que pi @ p"22 > Dhithe, Lila ot 
démontrer que AhtlAh2l2  AhRitR2, ble 

Problème 4 Démontrer que l’algèbre À est invariante par rapport 
à la conjugaison complexe. 

Indication. Utiliser la relation (p* !)* & pl R ot en déduire que 


AP: | PSE At R 


Remarquons aussi que d’après la définition même de l’espace A1, °, 
les fonctions de cet espace séparent les points du groupe G,. D’après 
le théorème de Stone-Weïerstrass (voir 4.2), on peut en déduire 
à l’aide des problèmes 3 et 4 que l’algèbre À (G) est partout dense 
dans C'(G,). Soit maintenant p une représentation irréductible 
quelconque du groupe G,. Si p ne se rencontrerait pas dans la décom- 
position des représentations 6"! en composantes irréductibles, on 
déduirait d’après les relations d’orthogonalité de 9.2 que les élé- 
ments matriciaux de la représentation p sont orthogonaux à toutes- 
les fonctions de À (G,). Mais ceci est impossible, puisque À (G,)- 
est dense dans C'(G,) et, par conséquent, dans L? (G,, dg). Le théo-- 
rème est démontré.; 

Ainsi, pour classifier toutes les représentations irréductibles du: 
groupe G,, il suffit de connaître la décomposition des représentations: 
p*. ! en composantes irréductibles. Ce problème assez difficile a été: 
directement résolu par H. Weyl (voir {57]). Le résultat fondamental 
peut être énoncé en termes plus modernes de la manière suivante. 


20* 
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Théorème 2 (H Weyl). Soit p la représentation du grou- 
pe G\ dans l’espace T = Y\ T'!(W). L'algèbre € (o, p) des opérateurs 
k,l 


d'entrelacement pour cette représentation est engendrée par 

1) les opérateurs de permutation des indices (covariants et contra- 
variants séparément), 

2) les opérateurs de multiplication par les tenseurs invariants, 

3) les opérateurs de convolution (pour un indice covariant et un 
indice contravariant). 

Nous ne déduirons pas ici du théorème 2 la classification complète 
des représentations irréductibles de G,. Remarquons qu’elle peut 
être obtenue par beaucoup d’autres procédés (voir [36], 147, 48] 
et [54]). 

À titre d'exercice utile nous laïsserons au lecteur le soin de dé- 
montrer le cas particulier suivant du théorème de classification 


général. 
Théorème 3. Soit op, la représentation du groupe U (n) dans 
les tenseurs antisymétriques de rang k (k = 1, 2, ..., n). Démonitrer 


que l'anneau de Grothendieck du groupe U (n) (voir la définition de 
cet anneau dans 7.1) est isomorphe à 


ZIp1, ..., Pn-1; On» On |. 


(La représentation p, est de dimension 1, par conséquent, pr" 
est bien définie et coïncide avec p;.) 


17.3. Représentations spinorielles du groupe orthogonal. Les 
groupes SO (n, K) pour À = R ou C ne sont pas simplement conne- 
xes. On sait que pour nr >3 leurs groupes fondamentaux sont isomor- 
phes à Z.. Le revêtement universel du groupe SO (n, K) est noté 
Spin (n, K) et s’appellera groupe des spineurs. Aïnsi, nous avons 
la suite exacte 

1—Z;—Spin(n, K)-+SO(n, K)—+1. (1) 


Chaque représentation linéaire du groupe SO (n, X) engendre une 
représentation de Spin (n, X). Malheureusement, le groupe Spin (n, Æ) 
possède d’autres représentations qui ne s'obtiennent pas de cette 
manière. Ces représentations peuvent être considérées comme biva- 


D 


luées (c'est-à-dire projectives avec multiplicateur à valeurs +1) du 
groupe SO(n, K). | 
La plus simple parmi ces représentations est de dimension 2fr/*1. 
Elle est irréductible si nr est impair et se décompose si n est pairen 
une somme de deux composantes non équivalentes de même dimen- 


sion. 
Décrivons ici une construction explicite de cette représentation. 
Soit C, l'algèbre de Clifford complexe à n générateurs e,, . . . ,ex et 


aux relations (cf. avec 3.5) 
e;se;—teje; 0 pour i-Æj, ei=1. (2) 
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Problème 1. Démontrer que 
Con © Mat, (C), Conti & Mat, r (C) @ Mat, x (C). 


Indication. Utiliser la méthode de solution du problème 8 de 3.5 
et démontrer que 


Ch+2= Cr @ Cas Co=C C1=CcCoc. 


Problème 2. Démontrer que le centre de l’algèbre C:1+1 est engendré 
par les éléments 1 et & — ee, . . . eop+s. 
Indication. Considérer le commutateur du monôme e;,...e;, 


aux générateurs €, . . ., En. 


Soit maintenant À € SO (n, €). La transformation 


ei > dije j; Ile: l| — À (3) 
J 


qui laisse vérifiées les relations (2) et définit donc un automorphisme 
(4) de l’algèbre C;. 

Problème 3. Démontrer que les automorphismes (4), 4 € SO.(n, C) 
ne modifient pas les éléments du centre de C 


Indication. Utiliser le résultat du problème 2 et le fait que 
det À — 1 pour 4 € SO (n, C). 


De l'énoncé du problème 3 il découle que pour n—2k<+î1 
l’automorphisme œ (A) se détermine par un certain automorphisme 
de l’algèbre des matrices Mat 228 (C). 

Ainsi nous pouvons pour un » quelconque considérer (A) com- 
me un automorphisme de l’algèbre des matrices complète sur C 
d'ordre 2{n/21, 

Comme nous savons (voir 14.1), chaque automorphisme de 
Mat, (C) est interne. Par conséquent, 


® (4) (ZX) = p (4) X p (4)7 (4) 


pour une certaine matrice p (A) € Matlr/21 (C). 

Il est clair que l’application A+ p (À) est une représentation 
projective du groupe SO (n, C). C’est justement la représentation 
cherchée. Montrons maintenant que cette représentation peut être 
rendue bivaluée, c’est-à-dire qu’on peut choisir p (4) de manière 
à satisfaire l'égalité 

p (41) p (42) = + p (4x A2). 


Utilisons pour cela les résultats de 14.3. Vu que le groupe SO (n, C) 
est semi-simple, la représentation p s'obtient de la représentation 
linéaire p du revêtement du groupe Spin (n, C). La représentation 


% 


correspondante p, (—p,) de l'algèbre de Lie est facile à calculer. 
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Problème 4 Soit À € 80 (n, C) une matrice complexe antisy- 
métrique. Alors, 


1 
px(4)=—> > djjeieÿe (5) 
2] 
Indication. Comparer l’action des deux membres de l'égalité (5) 
sur les générateurs e,, . .., eh. 


Par conséquent, l'algèbre de Lie 80 (n, C) est envoyée par la 
représentation p, dans le sous-espace C$” des éléments homogènes de 
degré 2 dans C,. Pour un choix convenable de l'identification de C, 
avec l'algèbre des matrices, ce sous-espace sera contenu dans 
So (21/21, C). Le sous-groupe correspondant dans SO (2fr/21, C) 
sera justement Spin (n, C). 

Ce groupe peut également être caractérisé comme composante 
connexe du sous-groupe T'& SO (21%/21, C) qui laisse invariant le 
sous-espace engendré par e,, ..., €, pour l’action de ses automorphis- 
mes internes. 

En utilisant la formule (5), on vérifie aisément que le sous-groupe 
fermé à un paramètre de SO (n, C) qui correspond à la rotation com- 
plète dans le plan de dimension 2 est envoyé par la représentation 


op = exp p, dans une courbe non fermée joignant le point 1 avec le 


point — 1. La représentation 0 est donc bivaluée sur SO (n, C). 
Considérons maintenant la réductibilité de la représentation p. 


Problème 5. Démontrer que le centralisateur du sous-espace C{? de C, 
est engendré par les éléments 1 et ejea. . . eh 


Ainsi, pour n impair, la représentation p est irréductible, car 
tout opérateur permutable aux opérateurs de l’image de l'algèbre de 
Lie appartient au centre de C, tout en étant scalaire sur chacun des 
deux sous-espaces équivalents de l'algèbre C, = Mat{7/11 (C0) Œ@ 
@ Matlr/21 (C). 

Dans le cas où n est pair, l’élément e,e, . . . e, est un opérateur 
d’entrelacement non trivial de la représentation p. Donc, p est la 
somme de deux sous-représentations p+ et p…. 


Problème 6. Démontrer que les représentations p+ et p_ ne sont pas 
équivalentes et sont de même dimension. 
, Indi . t ï Utiliser la relation c(p, p}=2 et l'égalité 
eye : € — (—1)7, 

Problème 7. Démontrer que la restriction de la représentation spi- 
norielle p du groupe Spin (2n+1, C) sur le sous-groupe Spin (2n, C) est équiva- 
lente à p+ + p- et la restriction de chacune des représentations p+ sur 
Spin (2n — 1, C) est irréductible ct équivalente à la représentation spinorielle 
de ce groupe. 

Indication. Calculer le nombre d’entrelacement correspondant et 
comparer les structures des algèbres Conti; Cons Con-1. 
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Le cas À — R admet les raisonnements analogues, mais plus 
compliqués. Le type de l’algèbre de Clifford correspondante ainsi 
que les propriétés des représentations spinorielles dépendent de la 
classe de congruence modulo 8 du nombre n. 

Nous laissons au lecteur le soin de démontrer les assertions 
suivantes. 


Problème 8. La représentation spinorielle p du groupe 
Spin (24 + 1, R) est de type réel pour 4 = 0,3 mod 4 et de type quaternionien 
pour k'= 1, 2 mod 4 

Les représentations p+ et p_ semi-spinorielles du groupe Spin (2k, R) sont 
conjuguées complexes pour 4 = 1 mod 2, réelles pour 4 = 0 mod 4 et de type 
quaternionien pour k = 1 mod 4. 

Ces deux représentations sont duales l’une à l’autre pour k impair et auto- 
duales pour kX pair. 
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18.1. Représentations d’une algèbre de Lie simple de dimension 3. 
Comme nous avons déjà remarqué dans 6.2, il existe précisément 
deux algèbres de Lie réelles simples de dimension 3. Ce sont l’al- 
gèbre g1 = 81 (2, R) des matrices réelles d'ordre 2 à trace nulle et 
l'algèbre g — 80 (3, R) des matrices réelles antisymétriques d'or- 
dre 3. 

Nous obtiendrons dans ce numéro la classification de toutes les 
représentations irréductibles de dimension finie des algèbres g1 et œ 
sur le corps C. 

Chacune de ces représentations se prolonge par linéarité à une 
représentation de l’enveloppe complexe de l'algèbre de Lie corres- 
pondante. 


Problème 1. Démontrer que les enveloppes complexes des algèbres g: 
et 4 sont isomorphes. 


Indication. L'isomorphisme cherché de 81 (2, C) et s0 (3, C) est 


de la forme 
b 0 b—c —i(b+c) 
k )-( c—b 0 dia ] 


FN (bc) —2ia 0 


Ainsi, il suffit d'étudier les représentations irréductibles de l’al- 
gèbre g = 81 (2, C) & 80 (3, CO). 
Choisissons dans g une base (sur C): 


x { 0 x O 1 0 O0 
= 0 —1/? +— 0 … x=|, 42 


Les relations de commutation entre les vecteurs de base s’écrivent 
[X0X +] = + 2X +, [X4, X_-]= Xo. (1) 
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Soit 7 une représentation de dimension finie de l’algèbre g dans 
l’espace V. Alors l'opérateur T (X,) possède dans V au moins un 
vecteur propre Ë£, à valeur propre À: 


T (Xo) & = ÀË. (2) 
Nous appellerons ce vecteur Ë vecteur pondérable de poids À. 


Problème 2. Démontrer que si & est un vecteur de poids À, alors 
T (X+) & est soit un vecteur nul, soit un vecteur de poids À + 
Indication. Utiliser la relation (1). 


Vu que l’espace V est de dimension finie il contient un vecteur 
pondérable £ de poids maximal À (nous ordonnons les poids d’après 
leur partie réelle ; comme nous verrons plus loin, tous les poids des 
représentations de dimension finie sont en fait des nombres réels). 
Ce vecteur satisfait non seulement à la condition (2) mais aussi à 
la condition 


T (X+) ë = 0. (3) 
Considérons la suite des vecteurs 


Éo LL ë; 61 = T (X_) Éo 62 = T (X_)én .. 


D'après le problème 2, tous les vecteurs non nuls de cette suite sont 
des vecteurs pondérables avec des poids différents. Ils sont donc 
linéairement indépendants. Cela signifie que la suite ne possède qu’un 
nombre fini de membres non nuls. 

Supposons que Ë, soit le dernier vecteur non nul de cette suite. 


Problème 3. Démontrer que l’espace engendré par les vecteurs £o, . . . 
.…, En est invariant par rapport aux opérateurs de représentation ct irréducti- 
e 


Indication. Utiliser les relations T (X_) ëx = Épy1s T (X0) ER = 
— (À — 2k) &, et démontrer par récurrence que 


T'(X4) En =k (À —k+T) Ep. 

Problème 4 Démontrer que le paramètre À est égal au nombre n. 

Indication. Utiliser l'égalité tr T (X,) = tr T(X4+X_ — X_X+) — 
= t[T (X4), T(X-)] = 0. 
Ainsi nous avons démontré le 

Théorème 1. Pour chaque entier non négatif n il existe 
précisément une représentation irréductible T, de l'algèbre g de dimen- 
sion n + 1. Dans la base formée des vecteurs pondérables les opérateurs 
de représentation s'écrivent : 


T'(X_) Er = Enu, 
T (X 0) Ex = (n—2k) Ex, (4) 
T(X;)En=k(n—k+1) Ex 1. 
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Notons le fait suivant. 

Corollaire. Pour chaque représentation irréductible T, 
il existe un seul (à un multiple scalaire près) vecteur & qui s'annule par 
l'opérateur T (X+). Ce vecteur est pondérable et son poids est égal à 
dim 7 — 1. 

D'après les résultats des numéros 6.3 et 6.4 sur les relations 
entre les représentations des groupes et des algèbres, le théorème 1 
donne aussi une classification des représentations irréductibles de 


dimension finie des groupes de Lie SZ (2, R) SO (3, R) = SU (2) 
et des représentations analytiques du groupe de Lie complexe 
SL(2, C). 


Problème 5. Soit P, l’espace des polynômes homogènes de degré n 
de deux variables p et g. Délinissons l’action du groupe SZ (2, C) dans P, en 
posant 


Lr é " AC a) = { (ap+cg, bp+ dg). 


Démontrer que la représentation correspondante 7, de l’algèbre q = 81 (2, C) 
est équivalente à T,.. 

Indication. Les opérateurs de la représentation de g sont donnés 
par les formules 


Ô 0 0 0 
T4 GE En er + o)=P3 1% » Ta AJ=s ee. 


L’isomorphisme entre V, et P, est de la forme 
Er —>n(n—1)...(n—k+41) pr-kgk, 


où {£L} est la base de V, définie ci-dessus. 


18.2. Algèbre de Weyl et décomposition des produits tensoriels. 
On appelle algèbre de Weyl À, (K) l’algèbre unitaire sur un corps X 
engendrée par les générateurs 


P1 . < Pn: A1» ..... On 
et les relations 


PiPj = PjPis Qidj = Qjdis Pidj — QjPi = ÔijA. (1) 


Cette algèbre est un cas particulier de l’algèbre R,, ; (K) définie 
dans 3.9, à savoir À, (K) = R,. o (K). 

Montrons ici que l’algèbre À, (Æ) permet de trouver les formules 
explicites pour la décomposition en composantes irréductibles du 
produit tensoriel de deux représentations irréductibles du groupe 
SL (2, K). 

Chaque élément de l’algèbre À, (X) s'écrit sous forme de polynô- 
me (non commutatii) des variables p et q à coefficients dans X. 
Cette notation n’est pas unique. Par exemple, l'élément pq peut 
s'écrire sous la forme gp + 1 ou sous la forme (pq?) — qp°q, etc. On 
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peut proposer trois méthodes naturelles pour rendre cette notation 
unique : 
a)notation à gauche: f— > c,yp"q!, 
b)notation à droite: f — > crigp", 
c)notation symétrique: f— >cx:0(p"q), où © 
désigne le produit symétrique 


Cr. tn) = D Ds ss Dot: 
sESn 
Chacune de ces méthodes identifie l’espace (mais pas l'algèbre!) 
À, avec l’espace X [p, ql de tous les polynômes (commutatifs) de p 
et q à coefficients dans X (pour un corps X de caractéristique nulle). 
Le passage d’une notation à l’autre définit un automorphisme de 
l'espace X [p, ql. L'étude de la forme explicite de ces isomorphismes 
nous donne le 
Théorème 1. Le passage de la notation à gauche à la nota- 
tion symétrique et de cette dernière à la notation à droite engendre 
dans K [p, gl l’automorphisme 
1 0? 00 


e2 Ôp 0q — > 1 921 
À j19i ôpiôgi 


k=0 
La démonstration s'obtient par récurrence à l’aide de l'identité 


k : l £ 
C(pg)=r po (pd) + 90 (pat). (2) 


Il serait intéressant de trouver une démonstration plus brève et 
directe. (Il est utile, par exemple, d'utiliser la réalisation de l’al- 
gèbre À, (R) comme anneau des opérateurs différentiels à coefficients 
polynomiaux sur la droite réelle.) 


b 
appartienne à SL(2, K). 


a 
Supposons que la matrice # à 


Alors, la transformation 
pr ap+bq, 
; (3) 
gr>cp+aq 
ne modifie pas les relations (1) et, par conséquent, se prolonge à un 


automorphisme de À, (Æ). Par ailleurs, cette transformation se pro- 
longe naturellement à un automorphishe de X [p, ql. 


Problème 1. Démontrer que l’isomorphisme o entre X [p, qglet À, (K) 
est permutable à l’action du groupe SZ [2, K]. 

Indication. Utiliser le fait que X [p, ql est engendré (comme espace 
vectoriel) pour les éléments de la forme (p + Àg)® et vérifier l'identité 


O((P + Ag)*) = (p + Àg)* dans Ai(K), 
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en comparant les coefficients des termes de même degré en À. Comparer égale- 
ment avec le problème 8 de 10.4. 


Comme nous avons vu dans 18.1, la représentation de SZ (2, X) de 
l’espace Æ [p, gl se décompose en une somme directe de représenta- 
tions irréductibles de dimension finie. De cette décomposition font par- 
tie exactement une fois toutes les représentations irréductibles de 
dimension finie du groupe SZ (2, K). Les sous-espaces irréductibles 
V, se composent des polynômes homogènes de degré n. La dimension 
de V, est égale à n + 1. Soient V, l’image de V, dans A, (X) par 
l'application o et 7, la représentation de SL (2, K) dans 7. 

Notons V,V, le sous-espace de A,(Æ) engendré par les produits 
zy, TEV,, YEV me 

Théorème 2. L'application du produit 

TOY AY 
se prolonge par linéarité à un isomorphisme de V, @ V,, sur Vr:Vh. 
L'espace V,-V, est la somme directe des sous-espaces de la forme 
Vaim-ons 4 = 0, 1,..., min(m, n). 

Démonstration. (Considérons le produit des éléments 
p EVr et g EV,. D'après le théorème 1 

nm _ 1 92 nm) 
P3 2 2.7! (er Pa ]= 


nm n—1,Mm- —1 — 1 n— _ î 
= 0 pag") +2 0 (pq) LEUR ET 9 (pq) 


Mais l'élément o (p**g""*) appartient à Viim-ox. Par conséquent, 
l'espace V,V, contient tous les sous-espaces de la forme V,+,,-0p; 


k = 0, 1,..., min (m, n). La somme des dimensions de ces sous- 
espaces est égale à 
min(m,n) 
2, (+m—2k+1)=(m+1)(n+1), 


c'est-à-dire à la dimension de V,@V,. Le théorème est démontré. 

Les théorèmes 1 et 2 permettent d'écrire explicitement la décom- 
position du produit tensoriel de deux représentations irréductibles du 
groupe SZ (2, K). Les calculs nécessaires à cette fin consistent à trou- 
ver la notation symétrique du produit de deux éléments donnés 
dans leur forme symétrique. 


La méthode ci-dessus peut être appliquée à l’étude des produits tensoriels 
des représentations irréductibles du groupe simplectique Sp (2n, K). Ce groupe 
agit naturellement comme groupe des automorphismes de l'algèbre de Weyl 
Ah (K). Soit P, l’espace des polynômes homogènes de degré 4 des variables 
Pis + + +» Pns Gr + + + On et Vp = O (Pr) CAn (À). On peut vérifier que l’es- 
pace V, est irréductible et que l’analogue du théorème 2 a également lieu. 

Mais contrairement au cas k — 1, cette méthode ne donne qu’une faible 
partie des représentations irréductibles du groupe Sp (2n, K}). Il serait très 
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intéressant de généraliser la méthode ci-dessus de manière à obtenir les autres 
représentations de ce groupe. 


18.3. Structure de l’algèble enveloppante U (9) pour g — 81 (2, C). 
Nous donnerons dans ce numéro une description des idéaux bilatères 
de l'algèbre enveloppante U (4) pour l’algèbre de Lie g= 81 (2, C). 

Il sera commode d'utiliser la base 


x( 9) (0 ” + 
mt: 077 at, Zi): 


liée à la base X,, X_, X, introduite dans 18.1 par les relations 


1 1 . 1 1 S 1 | 

5 À+— 5 (X + iY), 3 À-— 7 (X —iY), 7 Ào=iZ. 

Les éléments X, Ÿ, Z engendrent U (9) et satisfont aux relations 
XY—YX =Z,YZ—-ZY = X, ZX — XZ = 7Y. (1) 


Rappelons que la notation symétrique établit l’isomorphisme o 
entre l’espace C [X, Y , Z] de tous les polynômes des variables X, Y, 
Z et l’espace U (a), et cet isomorphisme est permutable à l’action du 
groupe adjoint (voir problème 8 dans 10.4). 

Dans notre cas, le groupe adjoint est le groupe SO (3, C) et la 
représentation adjointe l’homomorphisme bien connu de SZ (2, C) 
sur SO (3, C) (l'application correspondante de 8 (2, C) sur 80 (3, C) 
a été décrite dans 18.1). 


Problème 1. Démontrer que chaque polynôme P E CIX, Y, 2] 
invariant par rapport à SO (3, C) est de la forme jf (R), où 


R= X2+Y?+ 22. 


Indication. Le groupe SO (3, C) agit transitivement sur les sphères 
X2+Y2+ 72 = const Z 0. 


D'où en vertu du théorème 2 de 10.4 il s'ensuit que le centre 
Z (9) de l’algèbre U (4) est engendré par l'élément o (A). 


Notons que la restriction de o sur C [A] n’est pas un isomorphisme des 
algèbres C [R] et Z (g) (quoique ces algèbres sont isomorphes). Par exemple, on 
peut vérifier que 


G(R2)= [6 (A2 + 0 (R). 


Pour ce qui suit il nous faut connaître la forme explicite des sous- 
espaces invariants pour le groupe SO (3, C) dans l’espace C[X, Y, Z1. 

Pour décrire cette forme, introduisons l’espace F7, des polyn6- 
mes harmoniques homogènes de degré n, c’est-à-dire des polynô- 
mes P, qui satisiont à la condition 


02P 02P 02P 
AP= gr top tags 0. @) 
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Problème 2. Démontrer que X, est invariant et irréductible par rap- 
port au groupe SO (3, C) et la représentation correspondante T de l'algèbre 
de Lie est équivalente à T,, dans les notations de 18.1. 

Indication. Démontrer que l'opérateur À est permutable à l’action 
du groupe SO (3, C) et X? cst l’élément unique de Æ, (à facteur scalaire près) 
annulé par l'opérateur 


Ô Ô 
T(X+)= —2X+ KT Ko - 


Problème 3. Démontrer que chaque sous-espace irréductible H de 
C[X, Y, Z] se met sous la forme | 


H=}f(R) A. 


Indication. Utilisant la forme explicite du sous-groupe à un para- 
mètre S, — etTA+) démontrer que chaque élément P € C[X, Y, Z] invariant 
par rapport à S;, est un polynôme en X} et en À. Utiliser aussi le fait que X+ 
est de poids 2 et À de poids zéro. 

Problème 4. Démontrer que chaque sous-espace de U (q) irréductible 
par rapport au groupe adjoint est de la forme 


6 (f (R)) © (Hh) (3) 


pour une certaine fonction f € C [À] et un certain entier n > 0. 
Indication. Utiliser les résultats du problème 3. 


Supposons maintenant que Z soit un idéal bilatère de U (g). Il 
est alors invariant par rapport à l'opération de commutation avec 
les éléments de g et, par conséquent, par rapport à l’action du groupe 
adjoint. Z est donc la somme directe des sous-espaces de la forme (3) 
et, par conséquent, peut se mettre sous la forme 


I = à [n0 (Hh), (4) 


où /, est un certain sous-espace de Z (g). 

Vu que J est un idéal, il est clair que tous les Z, sont des idéaux 
dans Z (g). Mais dans l’anneau des polynômes d’une seule variable 
chaque idéal est principal. Par conséquent, 7, = f, (o (R)) Z (9) 
pour un certain polynôme ÿ, défini à un multiple constant près. 

Ainsi, chaque idéal bilatère I & U (9) est caractérisé par une famil- 
le de polynômes f, d’une seule variable. 


Problème 5. Démontrer que 7, &1,+, et, par conséquent, f, se 
divise par f,+1. 

Indication. Utiliser l’invariance de 7 par rapport à la multiplication 
par 6 (X+) ct le fait que X? € H,. 


Montrons maintenant que le rapport f,/f,+, n’est pas luiaussi 
arbitraire. Pour cela, étudions en détail l’espace o (H,) o (H.) 
engendré par les produits des éléments de o (H,) par les éléments de 
6 (/,). Des résultats de 18.2 il découle que la représentation de l’al- 
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gèbre g dans o (H,)o (H,) ne peut contenir que les composantes 
Tonton €t Ton-o. 

Les représentations correspondantes se réalisent, d’après le pro- 
blème 4, dans les espaces © (f (R))o (Hh41), o(g (R))o (A,) et 
CO (A (R)) o (H,_:) respectivement. La considération des termes de 
degré maximal nous montre que les polynômes f et g sont de degré 0 
(c’est-à-dire sont des constantes) et le degré du polynôme hk ne dépas- 
se pas 1. 

Ainsi, 

O (An) 0 (11) € 0 (Has + 0 (Ha) + (anO (R) + Br) o (Hn-1) 


Trouvons la forme explicite de la décomposition de l'élément 
X?X_ EG (H,) 0 (H,). Vu que cet élément est de poids 2n — 2, sa 
composante dans o(/,,,) est proportionnelle à (adX_}X"*°, sa 
composante dans © (4,) à adX_-X* et la dernière composante est de 
la forme («,o (R) + B, )X?71. 

Utilisant les relations de commutation entre X}, X-_ et X,, il 
est facile de calculer que 


(a dX-} XP = —(n +1) [2X EX —nXT (Yo + n) (Xotn—1)], 
(adX-) X4= —nX% 1 (Xo+n—1), 
(@n0 (R)+ Br) XF = 4 X EX + KE [an Xo (2— Xo) + Bal. 


D'où il est aisé de trouver les coefficients &, et B, : 


à — n __nÿ—n 
 Ane2" bn = 75 


Le résultat obtenu a un corollaire important. 


Problème 6. Démontrer que l'idéal Z,_, contient [o (R) + n°? — 1]7,. 
Indication. Si fEl,, alors f(o(R)X?X_EI et donc 
t (G (R)) («no (R) + Bn) € In. 


Par conséquent, si {f,} est une famille de polynômes qui caracté- 
rise l’idéal Z, alors le rapport f,_./f, est un diviseur du monôme 


G(R) + n° — 1. 


Problème 7. Démontrer que la condition obtenue n’est pas seulement 
nécessaire, mais aussi suffisante pour que la suite {f, } corresponde à un certain 


idéal Z = U (g). 
Indication. Utiliser le fait que l’algèbre U (g) est engendrée par 


l’espace © (H,). 


Etudions en plus de détails les familles {f,} qui satisfont à la 
condition obtenue. 

Normons les polynômes f, en prenant le coefficient du terme 
de degré maximal soit égal à 1. Il est alors clair que la suite 
{A} se stabilise : à partir d'un certain N nous aurons fy = fnw+1 = 
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— fyjo = .... Désignons dans ce cas fn par fx. Pour trouver 
toute la suite {f, } il suffit de donner en plus de f. le nous-ensemble $S 
des entiers naturels formé de tous les nombres nr pour lesquels ÿ, = 
Æ fn-1. Alors 


fn (x)= fort [| {x +4 (k+ 2)]. 
RES 


R>n 


Il est intéressant de comparer la structure des idéaux dans U (9) 
avec la structure des idéaux dans Z (g). L'’intersection de chaque 
idéal Z & U (9) est un idéal 7,, engendré par le polynôme 


fo(o (R))= fo (6 (R)) I to (R)+ k(k+ 2)]. 


Si f, n’a pas de racines de la forme 
—k(k+2),k —=0,1,2,..., (3) 


I se définit de façon unique à partir de Z,, à savoir, 1 = Z,U (ag). 
Dans le cas contraire, il y a plusieurs idéaux 7 € U (g) ayant la 
même intersection /, avec Z (g). Le nombre de ces idéaux est égal 
à 2”, où m est le nombre de racines de f, de la forme (3). 

En particulier, aux idéaux simples de Z (4) pour lesquels fo (x) — 
— x — } correspondent soit un seul idéal dans U (q), soit deux. 

Il serait très intéressant d'obtenir une description analogue de la 
structure des idéaux pour les algèbres enveloppantes d’autres al- 
gèbres de Lie. 


18.4. Représentations spinorielles du groupe simplectique. Soit 
Ah (R) l'algèbre de Weyl définie dans 18.2. Par rapport à l'opération 
x, y] = xy — yx, elle est une algèbre de Lie réelle de dimension 
infinie. Notons o l’isomorphisme de R [p,, . . ., Pr, 41, : . ., Qn] sur 
A, (R) donné par la notation symétrique (voir 18.2). 

Problème. Démontrer que si x et y sont deux polynômes en 
Pis + + + Pns dir + + +, On de degré k et L respectivement, alors [x, y} 
est un polynôme de degré < k + I — 2 

Il en découle que . des polynômes de degré < 2 des 
variables p,, . .., Dan, ..., Gn est une sous-algèbre dans À, (R). 
Noterons la 8t (n, R). il est également clair que les polynômes de de- 
gré < 1 forment un idéal nilpotent n dans 8t (nr, R) et les constantes 
son centre 3. Notons mle-sous-espace engendré par les générateurs 
et «a le sous-espace des polynômes symétriques homogènes de degré 2 
des générateurs. Il est aisé alors de vérifier que 


[a, aJŒ a, [a,mlem, [m, Mme 3. 


Soit St (n, R) le groupe de Lie connexe, simplement connexe, qui 
correspond à l’algèbre 8t (nr, R) (cf. la page 266). Notons 4, N et Z 
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les sous-groupes correspondant aux sous-algèbres a, n, 3. Le grou- 
pe NV est généralement appelé groupe de Heisenberg. 


Problème 1. Démontrer que N est isomorphe au groupe des matrices 
d'ordre n + 2 de la forme: 


4 a c 
g (a, b, (0 1h ) , 
0 O ‘1 


où a est un vecteur- ligne de dimension n, b un vecteur-colonne de dimension nr 

et 1, la matrice unité d'ordre n. 

; ‘Indication. Vérifier l’isomorphisme des algèbres de Lie correspon- 
antes. 

Problème 2. Démontrer que l'algèbre a est isomorphe à l'algèbre 
de Lie 8p (2n, R) du groupe simplectique Sp (2n, R) ct le groupe À au revête- 
ment universel du groupe Sp (2n, R). 

Indication. Considérer la représentation adjointe de a dans m. 


Démontrer que $£(n, R) = A:N (produit semi-direct). 


Le groupe N possède une série de représentations unitaires irré- 
ductibles U, À ER *. Ces représentations agissent dans ZL?(R”) 
par la formule 


Ua. (g (as d, c)} f () = etbx +0) (x + a). (1) 
Ici, pour simplifier les POLAUORS; nous écrivons x au lieu de 


Lis se Zn et 0x au lieu de à b;x;, etc. 


La représentation Conopondaute de l’algèbre de Lie est de la 
forme 
pie, gpiltg, id. (2) 
J 


La représentation (2) peut être prolongée à une représentation de 
8t (2, R) par les formules 


1 02 
PIPR  Gron, * PAT 


Ô 
gd 7 Qjn > it jtr. (5) 


Problème 3. Démontrer que la représentation ainsi obtenue corres- 


pond à une certaine représentation unitaire Tx du groupe St(n, R). 
Indication. Utiliser le critère de Nelson de 10.5. 


La restriction de la représentation T7, au groupe À sera notée 
S1 et appelée représentation spinorielle. 


Problème 4. Démontrer que les représentations S1 et S, sont équiva- 
Jentes si et seulement si Au > 0. 
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Indication. Considérer la transformation de l’espace L2(R?) qui 
correspond à une homothétie de R'. La non-équivalence de S et S, pour 
Au 0 découle de la considération du spectre de l’opérateur qui correspond 
à l'élément q°. 

Problème 5. Démontrer que les représentations spinorielles SA sont 
réductibles et se décomposent en deux composantes irréductibles qui agissent 
dans les sous-espaces des fonctions paires et impaires respectivement. 

Indication. Démontrer que l’espace G (S:) est engendré par l’opéra- 
teur identique et l’opérateur de symétrie relativement à l’origine des coordonnées. 


Considérons en détail le cas nr — 1. Le groupe Sp (2, R) est iso- 
morphe à SZ (2, R). Chaque matrice de SZ (2, R) se met de façon 
unique sous la forme 


/  cos® sin 5 È à 
exp , 
— sin® cos b —a 
Par conséquent, le groupe SZ (2,-R) est topologiquement équiva- 


lent à T x R°. Son revêtement universel est homéomorphe à R° et 
son groupe fondamental est isomorphe à Z. 


Problème 6. Vérifier que l’isomorphisme entre 81 (2, R) et l’algèbre a, 
engendrée par les éléments p°, g° et pq + gp dans À, (R), est de la forme 


(° AC (pq + gp) + bg? — cp?]. 


Indication. Utiliser les relations 


[p?, g°] = 2 (pa + agp), (pq, p°] = —2p?, [pq, q?] = 20. 


Nous montrerons maintenant que la représentation spinorielle 
S; n’est pas une représentation univoque de SZ (2, R) mais le de- 
vient déjà sur le revêtement à deux feuilles de ce groupe. Pour cela, 


0 1 

i à de l’algèbre de Lie 81 (2, R) 
qui correspond au sous-groupe fermé de dimension 1 SO (2, R) 
 SL(2, R). 

Dans l'algèbre «a à cet élément correspond l'expression 
1/, (p? + q?) envoyée par la représentation S,: dans l'opérateur 
Ti (x? + d?/dx?). 

Pour étudier cet opérateur, il est commode de passer de la réali- 
sation de la représentation dans l’espace Z? (R) à une autre réalisa- 
tion dans l’espace H° (C) des fonctions holomorphes sur C de carré 
intégrable pour la mesure el dx dy (où z = x + iy). 


nous considérerons l’élément X — 


Problème 7. Démontrer que les opérateurs z et d/dz sont conjugués 
l’un à l’autre dans H? (C). 


21—0361 
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Indication. Utiliser le fait que les polynômes en z sont denses dans 
H? (C) et la formule 


{| [z[2È e- 12 Gr dy=nkt. 
C 


Les représentations de l'algèbre n dans H°? (C) sont données par 
la formule 
i d À d ; 
Pr -Z (:++) , 7% (z—=) , 1 ii, 


et la représentation correspondante de a est de la forme 


d \2 d? d \2 
pit), Gog+apr-e, gr). 


En particulier, pour À 1 l’élément qui nous intéresse est 


+ 5) . D'où l’on calcule sans 


= + 
envoyé dans l'opérateur + à (z H 


difficulté que 
cos — sin 
| 5 . o] 1 (2) — e+i9/2f (ze+i), 


— sin ® COS P 


Par conséquent, l'opérateur identique s'obtient pour ® = 4 Æn, 
kE Z, ce qui démontre notre assertion. 


18.5. Représentations des groupes de matrices triangulaires. 
Notons T7 (n, R) le groupe de toutes les matrices réelles triangulaires 
non dégénérées d'ordre nr dont tous les éléments situés en dessous de 
la diagonale principale sont nuls, et les éléments de la diagonale prin- 
cipale sont positifs. L’algèbre de Lie correspondante t (n, R) se com- 
pose de toutes les matrices triangulaires. 


Problème 1. Démontrer que le groupe T (n, R) cst résoluble et expo- 
nentiel, c’est-à-dire que l’application 


exp:t(n, R) = T (n, R) 


est un homéomorphisme. 


Ainsi, on peut appliquer au groupe T (n, R) le théorème de 15.3 
sur la bijection entre les représentations unitaires irréductibles et les 
orbites dans la X-représentation. 

Donnons ici une description de toutes les orbites de dimension 
maximale et la construction des représentations correspondantes. 

Utilisons la méthode signalée dans 15.1. Réalisons l’espace 
t(n, R)* sous forme de matrices triangulaires inférieures et défi- 
nissons la X-représentation par la formule 


K(g): Fr (8Fg ‘int; (1) 
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où l'indice « inf » signifie que nous ne considérons que la partie 
triangulaire inférieure de la matrice obtenue et que tous les élé- 
ments situés au-dessus de la diagonale sont remplacés par des zéros. 
La structure de l’orbite dans la X-représentation diffère quelque 
peu selon la parité de n. 
Considérons, par exemple, le cas nr — 2k. Il est commode d'é- 
crire la matrice g € T (2k, KR) sous la forme 


AC 
ou A,BET(K,R), CE Matz =(R)et l'élément F Et (2k, R) * est 
de la forme 
X O0 
"OS . 


où À, Y Et(k, R) *, Z E Mat (k, R). 
Dans ces notations la X-représentation s’écrira 


K(A,B,C):(X,Y,Z)e 
> ([(AXA + CZA )Jinr, [B(Y —ZA TC) B]inr, BZA4). (4) 


Examinons d’abord ce que l’on peut obtenir par les transfor- 
mations (4) pour la matrice Z. 

Soient J la matrice composée d'unités sur la deuxième diagonale 
et de zéros aux autres endroits et J, la matrice obtenue à partir de J 
en remplaçant quelques 1 par —1. 

Lemme. Presque chaque matrice Z € Matz (R) (sauf une sous- 
variété de plus petite dimension) se met sous la forme Z — BJ, A7 
où À, BET(k, R). 

Pour démontrer cette assertion, on peut considérer l'équation 
matricielle linéaire ZA — BJ, aux inconnues À et B et voir ensuite 
si elle possède des solutions. 

On peut utiliser aussi les considérations géométriques suivantes. 
Examinons ce que l’on appelle variété des drapeaux orientés X. 

Un point de cet espace est la famille des espaces orientés V, & 
cV,c...c V,.. © Vs = R" tels que dim V, = k. 


Le terme « variété des drapeaux » provient du fait que pour le cas 4 — 3, 
il est naturel de s’imaginer un couple V, € V, comme une pièce d’étoffe attachée 
à une hampe. 

Problème 2. Vérifier que le groupe GZL (k, KR) agit transitivement 
sur X et que le sous-groupe stationnaire d’un certain point est T (k, R). 

Indication. Soit x € X le drapeau RÉF CR? ©... GR, avec les 
orientations standard. Si V, € V, €... € V, est un autre drapeau quelcon- 
que x, on peut choisir une base e, . . ., e, dans R, de sorte que e, . . ., e; soit 
une base positivement orientée de V; pour tous Les j de 1 à 4. Alors la transforma- 
tion qui envoie e,, ..., e, dans la base standard cnvoie x dans x4. 


» lon 
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L'espace Y — T (k, R) GL (k, R)/T (k, R), comme nous savons 
d’après 2.2, s'identifie avec l’ensemble des orbites dans l’espace 
des couples de drapeaux. L'’assertion ci-dessus équivaut au fait 
suivant: l’espace contient un sous-ensemble ouvert partout dense 
composé de 2* points qui correspondent aux matrices J,. 


Problème 3. Démontrer que l’espace Y est fini et se compose de 
2k.k | points. 

Indication. Pour éléments présentatifs des classes d'équivalence 
bilatères on peut prendre les matrices de permutation des éléments de base et les 
matrices qui s’obtiennent de ces dernières en remplaçant quelques 1 par —1. 


D 


Revenons maintenant à l’étude des orbites. En choisissant la 
transiormation (4) d’une manière convenable, nous pouvons mettre 
la matrice Z sous la forme J,. Les transformations ultérieures seront 
toujours faites de manière à ne pas modifier cette forme. 


Problème 4 Démontrer que si A, BET(k, R) et AJ.B1 = J,, 
alors À et B sont des matrices diagonales qui s’obtiennent l’une de l’autre par 
symétrie par rapport à la deuxième diagonale. 

Indication. Si À est une matrice triangulaire supérieure, J AJ" 
est une matrice inférieure. 


Ensuite, en considérant la transformation (4) pour À = B — 
— 4, et Z — J,, il est aisé de voir que par un choix approprié de la 
matrice C on peut transformer Ÿ en une matrice nulle et X en une 
matrice diagonale. 

Nous avons donc mis l’élément F sous forme canonique: 


Lo) Û 


. 


Problème 5. Démontrer que des éléments de forme canonique diffé- 
rente appartiennent à des orbites différentes. 

Indication. Démontrer que la transformation de la forme (4), qui 
envoie un élément canonique dans un autre élément canonique, possède les 
propriétés suivantes C = 0, À et B sont diagonales. 


Par conséquent, les orbites des éléments canoniques sont indexées 
par À nombres réels et par l'indice &. 

On peut vérifier (voir l’indication au problème 4) que les sous- 
groupes stationnaires des éléments canoniques sont de la forme 
£g (4, JAJ”E, 0), où À est une matrice diagonale. 

Par conséquent, les orbites correspondantes sont de dimension 
k (2k + 1) — k = 2k2. Nous ne démontrerons pas ici (quoique nous 
aurions pu le faire) que l’on obtient ainsi toutes les orbites de dimen- 
sion 2k? et que toutes les autres orbites sont de plus petite di- 
mension. 
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Pour sous-algèbre admissible par rapport à la forme canonique 
F (5) on peut prendre l'algèbre Bb des matrices de la forme 
g (4, JAJ”,, C), où À est une matrice diagonale. Le sous-groupe 
correspondant se compose de matrices de la même forme avec des 
éléments positifs sur la diagonale. Posons 


k e 
XD, e(g (4, JAJ”1, C)) _ ex tr J,C I PL 


1—=1 


Toe=Ind(T(n, R), A, Ypo). 


C’est précisément la série principale des représentations du grou- 
pe T'(n, R). 

Il serait intéressant de trouver directement les paramètres D, & 
d’après la représentation T qui correspond à ces paramètres. 

Il se trouve que les éléments d de la matrice D peuvent être expri- 
més à l’aide du caractère infinitésimal généralisé de la représenta- 
tion T (voir 11.3). Le paramètre & peut probablement être obtenu 
d’après le spectre de certains opérateurs, correspondant aux élé- 
ments de l'algèbre enveloppante de l’algèbre de Lie du groupe 
T (2k, R). 

Le calcul direct des caractères de la représentation T;,, comme 
fonctions généralisées sur le groupe peut servir au lecteur d'exercice 
fort utile. Pour le calcul concernant le sous-groupe 7, (n, R) des 
matrices triangulaires dont la diagonale est formée d'unités 
voir [102]. 


et 
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L'exemple le plus simple d’un groupe qui n'appartient pas au 
type [I peut être construit de la manière suivante. Soit « un nombre 
réel irrationnel. Considérons le groupe G des matrices de la forme 


et 0 Z 
O et w}, 4ER, z, weC. (1) 
O0 O0 { 


Il est clair que c’est un groupe de Lie. Comme espace topologique, 
G est homéomorphe à R°. En tant que groupe, c’est le produit semi- 
direct d’un sous-groupe de dimension À z — w — 0 et du sous- 
groupe invariant commutatif de dimension 4, t = (0. 

Considérons la X-représentation de ce groupe. Identifiant l’espa- 
ce g avec l’espace des matrices de la forme 


it O0 OO 
O iat O0 
a b O0 


, TER, a, bEC, (2} 
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nous obtenons l’expression explicite suivante de l’action de G dans g* : 
K(t,2,w): (a, b, 7) (ae, be-itt, ++ Im (az + bw)). 


Ainsi, les G-orbites dans g* sont des cylindres de dimension 2 
engendrés par une droite parallèle à l’axe t se déplaçant sur la courbe 
donnée par les équations paramétriques 


a — ape! , b — boeiti, LA € R. (3) 


Il est clair que cette courbe est partout dense dans la surface 
du tore 


jal=l&l, 1b1=Tdl 


La décomposition de g* en G-orbites ne satisfait pas aux condi- 
tions de 9.1 et l’espace quotient © (G) correspondant n’est pas semi- 
séparé. 


Problème 1. Démontrer qu'il existe sur le groupe G une mesure inva- 
riante bilatère qui s'écrit dans les paramètres t, x = z + i y, w = u + iv sous 
1a forme 

dg — dt dx dy du dv. 


Considérons la représentation régulière T du groupe G. Elle agit 
dans Z? (G, dg) par translations à droite et s'écrit, dans les coordon- 
nées é, z, w, suivant la formule 


[Tr En) fl(, a w)=f(tt+r,2+eté,wpeisin). (4) 


Nous montrerons maintenant que cette représentation se décompo- 
se de deux manières différentes en composantes irréductibles. 

Premier procédé. Effectuons une transiormation de 
Fourier par rapport aux variables z et w: 


Féab= (TT zur ar ayau do. (5) 


Problème 2. Vérifier que la transformation de Fourier envoic la 
représentation 7’ dans la représentation 7,, donnée par la formule 


it = 


[Ta (e, & MAG, a, bei Re a+ DM TL x, à, b). (6) 


La formule (6) montre que 7, est la somme continue des repré- 
sentations U, », a, b E C qui agissent dans L?(R, dt) suivant la 
formule 


[Ua bit, Ë, n)p1()= eiRetetaë+eiéton)o (g + r), (7) 


Problème 3. Démontrer que toutes les représentations U,, p sont 
irréductibles pour a Z 0, b 0. 

Indication. Vérifier que chaque opérateur permutable aux opéra- 
teurs de U,,p (0, Ë, n) est un opérateur de multiplication par une fonction. 
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Problème 4. Démontrer que les représentations U,, et Us,, b, sont 
équivalentes si et seulement s’il existe un nombre réel + tel que a, — aeït, b, = 
= be TT. 

Indication. Vérifier que l'opérateur d’entrelacement pour Us, b, 
et U,,v ne peut être que l'opérateur de translation par t. 


Deuxième procédé. Effectuons un changement de varia- 
bles : 


fé, 2, w)—=q(t, e-"tz, e- it) 


et passons à la transformation de Fourier: 


P(s, a, b)— | | | | | q(£, 2, w)eiReGs+ai+b0) gi dx dydu dv. (8) 


Problème 5. Vérifier qu'après une telle transformation, la représenta- 
tion 7 deviendra la représentation 7, donnée par la formule: 


Tor, & MOI, a, bei Re Cstetaftefdtbm) D cita, eut), (9) 


Indication. Ilest utile de considérer séparément les transformations 
Ta (0, &, n)et 7, (T, 0, O). 


Soit X.,, une surface de dimension 2 dans C? définie par les équa- 
tions |a | =7r, | b | — p, où r ct p sont des nombres réels non 
négatifs. 

La représentation 7, se décompose naturellement en une somme 
continue des représentations V+,,,, qui agissent dans L?(X,,,) sui- 
vant la formule 


[Va ne (T, £, n) ] (a, b) — eiRe (xs +eitaë+eitbn) op (eïita, eiatb), (10) 


Problème 6. Démontrer que les représentations V+,,,, Sont irré- 
ductibles, quels que soient 7T, p et s. 

Indication. Utiliser le fait que chaque fonction mesurable sur X:,, 
ct invariante par rapport à V+,0,s (T: 0, 0) est constante. 

Problème 7. Démontrer que les représentations V2, 6,5 et Xx,0,s 
sont équivalentes si ct seulement si la différence s — s’ se met sous la forme 
m+an, m,nE€EZ. 

Indication. L'opérateur d’entrelacement est l'opérateur de multipli- 
cation par la fonction de la forme ambn, 

Problème 8 Démontrer qu'aucune des représentations U,,# n’est 
équivalente à aucune des représentations V:, 0, s: 

Indication. Comparer l'opérateur de la restriction de ces représen- 
tations au sous-groupe { — (0. 


Ainsi, les deux décompositions construites ci-dessus sont essen- 
tiellement différentes. Le groupe G n'appartient donc pas au type I. 
Un exemple plus délicat de groupe de Lie n’appartenant pas au 
type I, dans lequel la deuxième condition du critère de Kostant- 
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Auslander (voir 15.3, théorème 3) n’est pas remplie, peut être cons- 
truit de la manière suivante. 
Soit g l’algèbre de Lie de dimension 7 sur R à base X, Y, U, V, 
S, T, R et aux commutateurs non nuls suivants: 
IS; Àl= FT, LS, Y] = — X, 
[T, U] = Y, [T, VI = —U. 


Cette algèbre peut être réalisée par des matrices « bloc-diagonales » 
d'ordre 6 dont les blocs sur la diagonale sont de la forme 


LS, TI=R, 


is 0 2z 0 s r 
O it w et 0 O0 & |}, 
0 O0 0 0 O0 O0 


OÙ Z = x + iy, w = u + iv et x, y,s,t, u, v, r sont des paramètres 
réels (les coordonnées par rapport à la base X, Y,S,T,U,Y,R). 

Soit G le groupe de Lie connexe et simplement connexe correspon- 
dant à l'algèbre g. 


Problème 9. Démontrer que les orbites Q de dimension maximale 
dans g* par rapport à G sont topologiquement équivalentes à T? X R? et que la 
classe de cohomologie définie par la forme canonique B, est non nulle. 


Indication. En considérant X, Ÿ, S, T, U, V, R comme fonctions 
linéaires sur g*, démontrer que les équations 
X2+HY2=:r?, U2+V2=ri, R=r;s 
pour r; Æ 0, ro Æ 0, rs 2 O0 déterminent une orbite sur laquelle 
Bo = dp À 4S + db À dT + Rdg À dy, 


où œ et sont des paramètres sur Q définis à partir des égalités À — r, cos ®, 
Y = r sin, U—=7r, cos Ÿ, V — r, sin Ÿ. 


Le fait que le groupe G n'appartient pas au type I peut être 
établi de la manière suivante. G possède un sous-groupe invariant 
commutatif dont l’algèbre de Lie est l'enveloppe des vecteurs X, Y, 
U, V. En appliquant à ce cas les raisonnements des numéros 13.3 
et 14.1, il est aisé de montrer que l’étude des représentations du grou- 
pe G& équivaut à étudier les représentations du groupe G, des matri- 
ces de la forme 


{mr 
O0 1 n}, m, nEZ, reRk. 
O0 O0 1 


Problème 10. Démontrer que le groupe G, n’est pas de type I. 

Indication. Soit H le sous-groupe de G, déterminé par la condition 
m —= 0. Définissons pour les nombres réels quelconques À et le caractère #1, ® 
du groupe H en posant : 


D, 9 Ce r}= etthr +0), 
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Démontrer que les représentations T1, » — Ind (Go, A, YXa ,9) sont irréductibles 
et Ta ,o — Ta, wy Si et seulement si À — À, et @ — q, se met sous la forme 


2n1k + À, où k et Z sont des entiers quelconques. 
En déduire que si À et x ne sont pas commensurables, les classes d’équivalen- 
ce des représentations 71,9 et T1, 1 ne sont pas séparées par aucun sous-ensemble 


ouvert de G. 


Il serait très intéressant d'appliquer la méthode des orbites 
à l’étude des représentations des groupes de Lie sauvages. Ainsi, il 
semble probable que le rôle des orbites revient aux mesures ergodi- 
ques G-invariantes dans g* et la formule (D) exprime la trace relative 
de l'opérateur de représentation dans le sens de von Neumann. 
Il est également possible que l’on peut décrire la décomposition 
d’une représentation régulière en facteur en terme d'orbites et don- 
ner une formule explicite pour la mesure de Plancherel généralisée 
dans le sens de I. Segal (voir 12.4) !. 


À) Ce numéro étant déjà terminé, l’auteur a obtenu un tiré à part d’un article 
intéressant de L. Pukanski, où une partie de ce programme est réalisée. 


NOTE HISTORIQUE ET INDICATIONS 
BIBLIOGRAPHIQUES 


La théorie des représentations des groupes existe en tant que branche 
indépendante des mathématiques depuis près de 80 années. 

La première période de son développement (qui se rapporte approximative- 
ment aux années 1890-1920) est liée aux noms de G. Frobenius et I. Shur, 
B. Burnside et F. Molina. Dans les travaux de cette période, on ne considérait 
que les groupes finis et leurs représentations de dimension finie. 

La première impulsion pour la création de la théorie des représentations 
fut la généralisation de la notion de caractère trouvée par Frobenius d’après 
une suggestion de Dedekind. En s'exprimant en langage plus moderne, on peut 
dire que le caractère dans le sens de Frobenius est une forme multiplicative sur 
le centre de l’anneau de groupe. Il fut bientôt remarqué que ce caractère peut 
se définir également comme trace d’une représentation matricielle. Ainsi, la 
théorie de Frobenius ct la théorie antérieure des caractères des groupes commu- 
tatifs s’intégrèrent à une nouvelle théorie unique — la théorie des représenta- 
tions. 

Une réalisation marquante fut l’emploi systématique par I. Shur de l’opéra- 
tion de moyenne et la démonstration de son célèbre lemme sur les opérateurs 
d’entrelacement des représentations irréductibles. Burnside trouva la forme 
générale des relations d’orthogonalité et élucida la structure des algèbres matri- 
cielles irréductibles. Ce résultat, de même que le théorème de F. Molina sur 
la semi-simplicité de l’algèbre de groupe, lièrent la théorie des représentations 
des groupes finis à la théorie des algèbres de dimension finie. Dans un des tra- 
vaux de Shur, la théorie des représentations projectives des groupes finis fut 
alors construite. 

En outre des résultats généraux ci-dessus, la première période fut caractérisée 
par l’accumulation d’un grand nombre de faits concrets sur les représentations 
de groupes concrets ou de certaines classes spéciales de groupes. 

La deuxième période est celle de la création de la théoric des représentations 
des groupes topologiques compacts. Les résultats généraux les plus importants 
de cette période sont le théorème de Haar-von Neumann sur l'existence d’une 
mesure finie invariante et le théorème de F. Peter-H. Weyl affirmant que le 
système des représentations de dimension finie est complet. En même temps, 
H. Weyl et E. Cartan édifièrent la théorie des représentations de dimension 
finie des groupes de Lie semi-simples. Ces résultats étaient non seulement re- 
marquables par leur beauté intrinsèque, mais trouvèrent aussi de larges applica- 
tions dans différents domaines des mathématiques ct de la physique (théorie 
des espaces symétriques, théorie des moments en mécanique quantique). La 
théorie des représentations de groupes devient ainsi une science appliquée dont 
la popularité va croissant. 

La nécessité de considérer les groupes non compacts et leurs représentations 
de dimension infinicse ressentit bientôt. Ainsi, le célèbre théorème de Stone-von 
Neumann sur l’unicité de l'opérateur de Schrôdinger est au fond la classification 
des représentations unitaires de dimension infinie du groupe nilpotent le plus 
simple (appelé groupe de Heisenberg). E. Wigner [136] fit la première tentative 
d’'édifier la théorie des particules élémentaires en prenant pour point de départ 
la théorie des représentations de dimension infinie. 
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L'étude systématique des représentations de dimension infinie des groupes, 
trait essenticl de la troisième période, commence dans les années quarante. Il 
y a toute raison de rapporter le début de cette période à la parution du travail de 
I. M. Gelfand et D. A. Raikov (1943), où les auteurs ont réussi à démontrer que 
le système des représentations unitaires irréductibles des groupes localement 
compacts est complet. À cette même époque Murray et von Neumann ont mis fin 
à leurs recherches fondamentales sur les algèbres d'opérateurs [122]. La théorie 
des algèbres de von Neumann rejoint la théorie des représentations de groupes 
dans les travaux de G. M. Adelson-Velski [1], F. Mautner [116], [117], R. Gode- 
ment [87], [88]. 

Les premiers théorèmes de classification pour les représentations de dimen- 
sion infinie furent obtenus en 1947 par I. M. Gelfand et M. A. Naimark [83], 
[84] et V. Bargmann [61]. En 1950 I. M. Gelfand et M. A. Naimark ont publié 
le livre [22] contenant la description des représentations de dimension infinie 
des groupes SZ (n, C), SO (n, C) et Sp (n, C) pour nr quelconque. 

Ce travail fut largement reconnu et fit naître tout un fleuve, sans cesse 
croissant, de travaux sur la théorie des représentations de dimension infinie. 

Nous suivrons ici quelques confluents de ce fleuve. 

Théorie générale. Un des résultats principaux revint à dégager 
la définition de la notion de groupe que l’on appelle ici apprivoisé. L’équivalence 
des diverses définitions de cette classe fut démontrée pendant ces 10-15 dernières 
années. Les principaux résultats sont dus à G. Mackey, J. Fell, J. Dixmier et 
J. Glimm. Le livre de J. Dixmier [15] dresse le bilan de ce travail. 

Harish-Chandra démontra dans [91] que tous les groupes semi-simples sont 
apprivoisés. Une démonstration plus belle et simple fut trouvée par R. Gode- 
ment [89]. Dans [133], E. Takenoushi établit que tous les groupes exponentiaux 
sont apprivoisés. Le premier exemple d’un groupe de Lie sauvage est probable- 
ment à attribucr à F. Mautner (non publié). Plus tard, cet exemple fut redécou- 
vert à plusicurs reprises. Un critère d’apprivoisité des groupes de Lie résolubles 
fut trouvé par L. Auslander et B. Kostant [60]. 

Pour les groupes de Lie généraux, un tel critère n’est pas encore découvert. 

Représentations induites. La théorie de la dualité de 
Frobenius fut transposée aux groupes compacts par A. Weyl [56]. 

E. Wigner [136], I. M. Gelfand et M. A. Naimark [83], [84] avaient déjà men- 
tionné dans leurs travaux que la construction qu’ils ont mise au point est la géné- 
ralisation de la notion de représentation induite. L'étude systématique de cette 
construction pour les groupes localement compacts fut entreprise par G. Mackey. 
Un de ses résultats principaux obtenus [113] est le critère d’inductibilité. 

En utilisant ce critère, Mackey établit un algorithme fort simple pour 
construire et étudier les représentations unitaires des extensions de groupes [114]. 

La notion de représentation induite holomorphe fut d’abord implicitement 
étudiée par Bargmann dans [61] et explicitement introduite par I. M. Gelfand 
et M. I. Graev dans [80]. L'étude systématique des représentations induites et 
induites holomorphes fut entreprise par R. Blattner [66] qui introduisit égale- 
ment la notion de représentation partiellement holomorphe et trouva une dé- 
monstration plus simple du critère de Mackey. 

R. Bott a obtenu [67] une réalisation des représentations irréductibles (de 
dimension finie) d’un groupe de Lie compact semi-simple G dans les espaces de 
cohomologice du faisceau des germes des sections holomorphes de certaines G- 
fibrations à fibres de dimension 1. R. P. Langlands énonça dans [112] l’hypo- 
thèse qu'une construction analogue (où les cohomologies usuelles seraient rem- 
placées par les cohomologics dites Z?-cohomologies) est applicable à la construc- 
tion des représentations des groupes semi-simples non compacts. Pour une 
description plus détaillée de cette construction voir, par exemple, [107]. Une 
autre généralisation de la notion de représentations induites fut, enfin, proposée 
par G. Mackey. Elle a pour point de départ l’idée de retrouver le critère d’in- 
ductibilité pour le cas des G-espaces crgodiques non homogènes. Pour plus de 
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détails, sur cette généralisation et la notion de sous-groupe virtuel voir l’article 
nie de G. Mackey [115]. D’autres résultats ultérieurs ont été obtenus dans 

Tout un nombre de travaux se rapportent aux diverses généralisations de 
la dualité de Frobenius aux groupes non compacts (voir, par exemple, [115]). 
Les espaces quotients compacts se sont avérés les plus commodes pour effectuer 
de telles généralisations. Dans cet ordre d'idées un théorème important fut obtenu 
par I. M. Gelfand et I. I. Piatetski-Shapiro pour un groupe de Lie G semi-simple 
et son sous-groupe discret l. L'intérêt suscité par ce cas est disté par le fait que 
le théorème de dualité pour un couple (G, T) et la formule de la trace qui en 
découle permettent d'appliquer la théorie des représentations à certains problè- 
mes difficiles de la théorie des nombres moderne. Pour plus de détails sur ce 
groupe de questions voir [20]. 

Le théorème général de dualité pour le cas d’un espace quotient compact 
fut obtenu par G. I. Olchanski dans [124]. 

Une tentative d'intérêt particulier pour conserver la théorie de Frobenius en 
a l’unitarité de la représentation fut entreprise par C. Moore dans 

18]. | 

Représentations des groupes de Lic semi-sim- 
ples. Les propriétés fondamentales de la théorie des représentations de dimen- 
sion infinie des groupes complexes semi-simples furent élucidées dans le livre [22]. 
On y apprend en particulier qu’un rôle fondamental dans cette théorie revient 
aux sous-groupes dits paraboliques. (Un sous-groupe P d’un groupe G complexe 
semi-simple s'appelle parabolique, s’il est un sous-groupe connexe complexe 
possédant l’une des deux propriétés équivalentes : 1) l’espace quotient G/P est 
compact, 2) P contient le sous-groupe résoluble maximal de G.) M. A. Naimark 
et D. P. Jelobenko ont démontré [120], [97] que toutes les représentations irré- 
ductibles (y compris les représentations non unitaires) d’un groupe complexe 
semi-simple G sont contenues dans l’ensemble de ses représentations élémentaires 
(c’est-à-dire des représentations induites des représentations de dimension 1 du 
sous-groupe parabolique). L'étude de la catégorie des représentations élémentai- 
res est considérablement simplifiée par le fait que les espaces des classes d’équi- 
valence doubles P, G/P, sont finis pour tout couple desous-groupes paraboliques 
P, et P,. En particulier, lorsque P, et P, coïncident avec le sous-groupe de Bo- 
rel B (c'est-à-dire le sous-groupe résoluble maximal de G), les points de cet espace 
s’identifient aux éléments du groupe de Weyl W du groupe G ?). Le livre [22] 
expose le calcul des caractères des représentations élémentaires ct la formule de 
Plancherel pour les groupes classiques complexes. On y établit également que les 
groupes semi-simples possèdent des séries de représentations supplémentaires 
n’appartenant pas à l’adhérence d’une représentation régulière. 

Ces résultats furent généralisés au cas des groupes complexes semi-simples 
dans les travaux de Harish-Chandra [91], [92]. 

La classification des représentations irréductibles dans les espaces de Banach 
fut obtenue grâce à l’étude des opérateurs de Laplace sur les groupes de Lie 
semi-simples par F. A. Beresine dans [63]. Il cest à noter que le problème de la 
recherche, dans la classe construite, des représentations unitaires s’est avéré 
fort difficile du point de vue technique. Le problème plus simple de l'existence 
d’une forme hermitienne G-invariante admet une solution simple en termes de 
caractères induits du sous-groupe parabolique. Mais on ne sait pas encore 
quand est-ce que cette forme est positive (voir [90], [131}). 

Dans la théorie des représentations des groupes semi-simples réels on se 


1) Ce résultat important fut établi par Gelfand et Naimark pour les groupes 
complexes classiques par Harish-Chandra et Chevalley pour le cas général. Après 
la parution du travail [68], où ce résultat a permis d'étudier les opérateurs d’en- 
trelacement, il a pris le nom de « Lemme de Bruhat ». 
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heurte à des difficultés supplémentaires. Dans ce cas, l’étude des représentations 
élémentaires même en faisant appel à la notion de représentation induite holo- 
morphe s'avère insuffisante pour construire un système complet. La première 
série de représentations non élémentaires obtenue par I. M. Gelfand et M. I. Graev 
pour le groupe SU (2,1) fut appelée série « étrange ». Ce n’est qu'après l’ap- 
parition de l'hypothèse de Langlands qu'il devint clair que cette série se réalise 
naturellement non pas dans les fonctions (c’est-à-dire dans les cohomologies 
de dimension zéro), mais dans les cohomologies de dimensions supérieures. 

Des résultats fort importants pour la théorie des représentations des groupes 
de Lie réels semi-simples furent obtenus par Haiish-Chandra dont le travail [94], 
faisant le bilan de toute une série de recherches, donne la classification complète 
des séries dites discrètes (c’est-à-dire des représentations des éléments matri- 
ciaux de carré intégrable). 

Les dernières réalisations concernant la démonstration de l’hypothèse de 
Langlands appartiennent à W. Schmid [128], K. Okamoto et M.S. Narasimhan 
[121] et R. Parthasarathy [125]. 

La théorie des représentations de dimension infinie des groupes semi- 
simples engendra de nouvelles réalisations d'importance particulière dans les 
questions classiques de la théorie de dimension finie. 

I. M. Gelfand et M. L. Zetlin découvrirent des formules explicites pour les 
représentations de dimension finie du groupe linéaire et orthogonal (voir le 
supplément au livre [21]). 

Les résultats de D. P. Jelobenko dans [96] donnent l'espoir d'obtenir des 
formules analogues pour le cas du groupe simplectique. 

‘Les méthodes de la théorie des représentations de dimension infinie se sont 
également avérées utiles pour la théorie des représentations des groupes algébri- 
ques sur les corps finis (voir [132], [85]). 

La méthode des orbites. Cette méthode fit son apparition 
dans le travail de l’auteur [102] consacré aux représentations des groupes de Lie 
nilpotents où l’on a aussi signalé la possibilité de généraliser cette méthode 
à d’autres classes de groupes. Le développement ultérieur fut obtenu dans les 
travaux de P. Bernat [65], B. Kostant [109], [110], L. Auslander et B. Kostant 
160], L. Pukanszky [126], [127], M. Duflo [73], [75] et de l’auteur [103], [104], 
1106]. La méthode des orbites s’est également avérée utile pour étudier certains 
autres problèmes de la théorie des représentations des algèbres de Lie (voir [72], 
173]), les corps des quotients des algèbres enveloppantes des algèbres de Lie 
(voir [82]), le centre de l’algèbre enveloppante (voir [78] et [75]). 

La liaison entre la méthode des orbites et la mécanique fut remarquée par 
B. Kostant [109]. La classification des variétés simplectiques homogènes fut 
indépendamment obtenue, il y a environ 5 ans, par B. Kostant, J. M. Souriau 
et l’auteur. Pour l’exposé de cette classification voir [110], [52], [108]. 

La troisième période du développement de la théorie des représentations est 
aujourd’hui terminée dans le plan des idées (quoique de nombreux problèmes 
concrets difficiles attendent toujours leur solution). Néanmoins, la théorie des 
représentations ne peut être considérée comme une branche des mathématiques 
absolument achevée. Dès maintenant, on peut tracer les directions qu’elle 
. sans doute, dans la périodesuivante de son développement — la quatrième 
période. 

C’est tout d’abord la théorie des représentations de dimension infinie des 
groupes que l’on rencontre dans la théorie des nombres moderne et en géométrie 
algébrique: les groupes algébriques sur les corps locaux ou sur les anneaux d’a- 
dèles. Le livre [20] peut servir d'introduction à ce domaine, de même que l’exposé 
par R. Godement du travail célèbre de H. Jacket et R. P. Langlands sur les 
formes automorphes sur GL (2). 

Deuxièmement, c’est la théorie des représentations des groupes de Lie de 
dimension infinie. On peut signaler au moins trois types de tels groupes, dont 
l'étude présente un intérêt particulier et possède de nombreuses applications. 
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1. Groupe d'opérateurs invertibles dans les espaces vectoriels de dimension 
infinie (par exemple, le groupe U (Æ) de tous les opérateurs unitaires dans un 
espace hilbertien Æ, ou son sous-groupe u, (4) formé des opérateurs congrus 
aux opérateurs unité modulo un opérateur compact). 

2. Le groupe des difféomorphismes des variétés différentiables (le groupe 
de transformations canoniques des variétés simplectiques, par exemple). 

8. Les produits continus des groupes de Lie de dimension finie, c’est-à-dire 
les groupes C® (M, G) des fonctions différentiables sur la variété M à valeurs 
dans le groupe de Lie G. 

De toute apparence une place de choix revient à la méthode des orbites 
dans ces nouvelles branches de la théorie des représentations. 

On a démontré en particulier que seuls les groupes réels semi-simples conte- 
nant un sous-groupe de Cartan compact possèdent des séries discrètes de repré- 
sentations. 

Néanmoins, les représentations des séries discrètes ne sont décrites dans les 
travaux de Harish-Chandra que d’une façon indirecte. A savoir, on n’y signale 
que la restriction du caractère de la représentation sur la partie régulière du 
sous-groupe de Cartan compact et l’on démontre qu’il existe une seule repré- 
sentation (à équivalence près) possédant un caractère à cette propriété. 

Un problème très intéressant non résolu consiste à trouver la réalisation 
explicite des représentations de la série discrète. La construction mentionnée 
plus haut des représentations dans les ZL?-cohomologies, proposée par Langlands, 
ouvre de larges perspectives pour aborder ce problème. 
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